Автоматизация анализа массивов текстовых документов в информационно-коммуникационных средах

• Автор: Николаева, Ирина Викторовна
• Шифр специальности: 10.02.21
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Москва
• Количество страниц: 253 с. : ил.

Содержание:

Глава 1. Существующие алгоритмы обработки естественного языка

1.1. Задачи обработки естественного языка

1.2. Особенности алгоритмов обработки естественного языка

1.3. Алгоритмы морфологического анализа в системах автоматического обработки естественно языковых (ЕЯ) текстов

1.3.1. Принципы построения компьютерной морфологии

1.3.1.1. Система кодирования словаря словоизменения

1.3.1.2. Точный морфологический анализ 2

1.3.1.3. Морфологический анализ на основе правил

1.3.1.4. Вероятностный морфологический анализ

1.3.2. Использование морфоанализа при разборе текста

1.3.2.1. Настройки морфоанализатора
1.3.2.2. Формальные факторы, определяющие варианты разбора слова
1.3.2.3. Учет контекста при разборе слова
1 ААнализ тональности текста
1.4.1 Лингвистическая модель для компьютерного анализа тональности публикаций СМИ
1.4.2 Фильтрация и разбор пропозиций для оценки тональности
1.4.3 Прямая эмоционально-коннотативная характеристика
1.4.4 Ассоциированный эмоциональный коннотат
1.4.5 Методика принятия решения о тональности
1.5. Референция обозначений персон и организаций в публицистических текстах
1.5.1 Особенности референции обозначений в тексте
1.5.2 Обобщенный алгоритм анализа референции
1.5.3 Поиск референтов известных объектов
1.6. Поиск и классификация фактов

1.6.1 Технология фактографического поиска
1.6.2 RCO Pattern Extractor: компонент выделения особых объектов в тексте
1.6.2.1 Модуль предобработки текста
1.6.2.2 Выделение объектов
1.6.2.3 Словарный модуль
1.6.2.4. Модуль выделения объектов
1.7. Нейросетевая технология в обработке ЕЯ информации
1.7.1 Использование статистических методов
1.7.2 Ассоциативная семантическая сеть
1.7.3 Реализация прикладных функций тематического анализа текста
1.8. Эксплицирование элементов смысла текста средствами синтаксического анализа-синтеза
1.8.1. Синтаксический анализ и эксплицирование отношений
1.8.2. Синтаксический синтез элементов смысла
1.8.3. Ранжирование элементов смысла и информационный портрет текста
1.9. Программные продукты для автоматического реферирования (Automatic Text Summarization)
1.10 Выводы по Г лаве 1
Глава 2. Поуровневый анализ ЕЯ текста в системах автоматической обработки
2.1. Знания о ЕЯ, необходимые для полного автоматического анализа
2.2. Общая схема автоматической обработки ЕЯ текста
2.3. Анализ отдельных слов
2.4. Проблема снятия омонимии
2.4.1 Традиционные методы снятия лексико-семантической омонимии

2.4.2 Современные тенденции в решении проблемы автоматического снятия омонимии
2.4.3 Преимущества использования частотных коллокаций
2.4.4 Понятие частотных устойчивых коллокаций
2.4.5 Характеристика поверхностных фильтров
2.4.6 Оценка эффективности работы фильтров
2.5. Пример морфологического словаря («Открытые системы»)
2.5.1 Структура морфологического словаря
2.5.2 Оболочка редактирования словаря
2.5.3 Бинарное представление словаря
2.5.4 Предсказание ненайденных слов
2.6. Анализ отдельных предложений
2.7. Анализ снизу вверх и сверху вниз
2.7.1. Парсинг
2.7.2. Системы со встроенными правилами
2.7.3. Сравнение эффективности
2.8. Классификация методов синтаксического анализа
2.9. Синтаксический анализ в системе
2.9.1 Синтаксическое правило
2.9.2 Алгоритм работы
2.10. Использование семантических грамматик
2.11. Семантический анализ
2.11.1 Первичный семантический анализ
2.11.2 Алгоритм поверхностного семантического анализа
2.12. Семантические сети и фреймы
2.13. Выявление сверх фразовой структуры
2.14. Выводы
Глава 3. Модель алгоритма обработки ЕЯ текста
3.1. Некоторые методы автоматического анализа ЕЯ, используемые в промышленных продуктах

между упоминаниями одного референта в предложении должна стоять хотя бы одна запятая (не считая запятых между однородными членами).
2. Возможный референт слова при своем последнем упоминании не должен входить в состав группы однородных членов предложения (Сидоров столкнулся с Ивановым и Петровым в дверях, после чего ему не удалось избежать разговора). Это относится к референту слова, стоящего в единственном числе. Слово во множественном числе, напротив, может иметь несколько референтов в единственном числе в составе группы однородных (В дверях школьницы столкнулись с Васей и Петей, которых знали еще с детства).
3. При наличии нескольких потенциальных референтов слову более естественно иметь того референта, который употреблялся в теме предшествующего предложения, нежели в реме. Это связано с тем, что для автора наиболее естественно именовать кратко тот предмет, который уже находится в фокусе внимания - теме. (Иванов познакомился с Петровым в прошлом году. Тогда он впервые участвовал в выставке). При переводе же предмета из ремы в тему - выведении в фокус -естественно называть его более полным именем, чтобы избежать неоднозначности. Это отражает следующее правило.
4. Референт слова не должен упоминаться после него в том же предложении, будучи обозначен более полным наименованием (Компания обанкротилась, после чего акционеры МММ тщетно пытались вернуть свои деньги - если компания обозначает МММ, то фраза воспринимается анормально). То есть, денотативный статус обозначения не должен уточняться при повторном упоминании референтого объекта в предложении, так как референт уже находится в фокусе внимания.
К сожалению, на практике эти правила часто нарушаются даже при построении стилистически грамотного текста ввиду того, что основной опорой при его восприятии полагаются все же экстралингвистические знания. Тем не