Модели и технологии поверхностного понимания текста

• Автор: Королев, Алексей Николаевич
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2002
• Место защиты: Москва
• Количество страниц: 104 с.

Введение.

Глава 1. Существующие подходы к пониманию текста

1.1. Проблемы разработки .процессоров.

1.2. Формальнолингвистический подход.

1.3. Глубинное понимание г. Поверхностное понимание

1.4. Психологические аспекты понимания1Б

Глава 2. Модель поверхностного понимания текста.

2.1.0 вводимой терминологии.

2.2. Определение поверхностного ноиимаиня текста

2.3. Представление понятого текста

2.4. Рдииицм анализа

2.5. Роль морфолоического анализа в поверхностном понимании
2.5.1. Псевдоморфология на основе нечеткого поиска.
2.5.2. Упрошенный морфологический анализ лемматизация
2.5.3. Детальный морфологический анализ
2.6. Окно анализа.
2.7. Шаблоны устойчивых консгрукций.
2.8. Фонетический аспект понимания текста.
2.9. Графичсскнй аспект понимания текста
Глава 3. Линейный синтаксический анализ.
3.1. Однопроходный линейный синтаксический анализ.
3.1.1. Вычленение предложения из текста
3.1.2. Вычленение слова из предложения.
3.1.3. Применение синтаксических правил к единице анализа
3.2. Структура правила синтаксического анализа
3.2.1. Каузальная часть правила
3.2.2. Актуальная часть правила
3.3. Синтаксические отношения.
3.3.1. Актан гныс синтаксические отношения.
3.3.2. Атрибутивные синтаксические отношения.
3.3.3. Сочинительные синтаксические отношения
3.3.4. Служебные синтаксические отношения
3.4. База правил
3.4.1. Структура базы правил.
3.4.2. Требования к базе правил
Глава 4. Применимость поверхностного понимания текста
4.1. Критерии оценки результатов поверхностного понимания текста.
4.1.1. Связность
4.1.2. Полнота
4.2. Применимость поверхностного понимания текста к текстам на различных естественных языках
4.3. Зависимость качества результатов поверхностного понимания текста от размеров окна анализа
Глава 5. Обучение и настройка iпроцсссора в модели поверхностного понимания тскста
5.1. Предморфологичсскне знания
5.2. Морфологические знания
5.2.1. Морфологические знания, необходимые для реализации псевдоморфологического анализа средствами нечеткого поиска.
.2. Морфологические знания, необходимые для лемматиэации
5.2.3. Морфологические знания, необходимые для реализации полномасштабного морфологического анализа
5.3. Фразеологические знания.
5.4. База шаблонов устойчивых языковых конструкций.
5.5. База правил линейного однопроходного анализа текста.
5.6. Знания о семантических связях между словами иили семантическими обьсктами.
5.7. Обучение в модели поверхностного понимания текста.
Глава 6. Реализация поверхностного понимания текста
6.1. Общие вопросы программной реализации поверхностного понимания текста в виде процсссора.
6.2. Модули процессора.
6.2.1. Базовый модуль .процессора . .
6.2.2. Модуль прсдморфологичсского анализа токснизации I. I.
6.2.3. Модуль морфологического анализа .
6.2.4. Модульсинтактосемантичсскогоанализа I.
6.2.5. Модуль оптимизации семантического представления
6.3. Представление данных в процессоре.
6.3.1. Представление текста.
6.3.2. Представление токенизнрованого текста
6.3.3. Представление морфологической информации.
6.3.4. Семантическое представление текста.
6.3.5. Формат файла таблицы перекодировки.
6.3.6. Формат файла с системой рег улярных выражений токеннзацни
6.3.7. Формат файла с системой регулярных выражений определения границ предложения.
6.3.8. Формат файла морфологического словника.
6.3.9. Формат файла правил отсечения
6.3 Формат файла базы правил анализа
6.3 Формат файла семантической сети тезауруса i.
6.3 Формат файла описания связей тезауруса i.
Глава 7. Поверхностный синтез текста.
7.1. Поверхностный синтез текста.
7.2. Поверхностный перевод текста
Глава 8. Приложения поверхностного понимания текста
8.1. Поверхностное понимание текста в поисковых системах.
8.1.1. Поиск слов в любой словоформе
8.1.2. Снятие омонимии при поиске.
8.1.3. Учет сочетаемости слов при поиске
8.1.4. Фразеологизмы и устойчивые языковые конструкции
8.1.5. Отсечение шумовой составляющей текста
8.1.6. Поиск нетексювой информации иероглифов.
8.1.7. Учет семантики при поиске
8.1.8. Прочие лингвистические аспекты поиска
8.2. Поверхносшое понимание текста в прнложениях.
8.3. Поверхностное понимание текста в машинном переводе
8.3.1. Автоматический машинный перевод
8.3.2. Автоматизированный машинный перевод
8.4. Поверхностное понимание текста в диалоговых системах
8.4.1. Дналошвые системы без целеполагання
8.4.2. Диалоговые системы с целеполапшнем.
8.5. Поверхностное понимание текста в классификации.
8.6. Поверхностное понимание текста в авторсфернровании.
8.7. Поверхностное понимание текста в визуализации
Список литературы


К их числу относится, прежде всего, необходимость в подробном формализованном описании естественного языка то есть в основе разрабатываемого . Опыт практической реализации этой задачи например, в рамках модели СмыслТекст не внушает особого оптимизма по этому поводу. Потребность в исчерпывающем описании языка создает и еще одну проблему для форматьнолингвнстических методов важна корректность текста с точки зрения языка поскольку алгоритмы такого рода предполагают генерацию всех допустимых интерпретаций апализируемого текста с последующим отсечением ошибочных гипотез иили выбором в пользу наиболее вероятной из них. Еще один недостаток формальнолингвистических . Перечисленные недостатки формально лингвистических методов компенсируются в долгосрочной перспективе их применения одним несомненным достоинством в общех случае только формальнолингвистические методы могут гарантировать максимальную точность лингвистического анализа и синтеза. Психология восприятия говорит нам, что в случае понимания текста человеком механизм, аналогичный формальнолингвистическому . Во всех остальных случаях механизм понимания текста носит более простой, более приближенный характер. Ярким образцом такого приближенного понимания текста является так называемое быстрочгснис. Разработка на основе модели понимания текста человеком при помощи оперативной памяти модели поверхностного понимания текста, основанной на использовании скользящего окна анализа ограниченного размера и линейного однопроходною анализа, ее дальнейшее исследование и программная реализация. Формулирование модели поверхностного понимания текста. Разработка алгоритмов, реализующих отдельные аспекты поверхностного понимания текста. Определение границ применимости модели поверхностного понимания текста. Разработка алгоритмов обучения . Формулирование критериев правильности понимания текста . Постановка задачи поверхностного перевода и определение возможных путей ее решения. Определение способов приложения модели поверхностного понимания текста к основным задачам компьютерной лингвистики. В противоположность традиционному формалыюлингвистическому подходу, предлагаемая модель поверхностного понимания текста основана на моделировании не языка, но процесса понимания текста человеком. По мнению автора, новым является реализация лингвистического анализа текста посредством его линейного однопроходного анализа, использующего окно анализа ограниченного размера для хранения промежуточной контекстной информации. Как уже говорилось выше, в современных программных системах обработки текстов на естественном языке существует значительный разрыв между академическими 1процессорами, реализующими, как правило, формальнолингвистический подход, и коммерческими программными продуктами, практически не использующими достижений прикладной лингвистики. В числе основных приложений, эффективность рабогы которых может повысить использование . Модель поверхностного понимания текста. Программная реализация поверхностного понимания текста на основе базы правил. Модель поверхностного перевода текста. Модель поверхностного синтеза текста. VIII национальной конференции по искусственному интеллекту с международным участием КИИ Коломна. Математические модели сложных систем и междисциплинарные исследования Москва, . Элементы программной реализации модели поверхностного понимания текста были использованы при разработке программного комплекса лингвистического обеспечения полнотекстового поиска Русский Ссмаггтичсский Сервер в компании ВесгьМстаТ сх но логия. Работа состоит из введения и восьми глав, каждая из которых разбггвастся на пункты. Ведется сквозная нумерация таблиц и рисунков. В конце работы представлен список используемой литературы. Нумерация литературы указана в ггорядке цитирования. При ссылке на литературу порядковый номер статьи или книги указывается в квадратных скобках. Во введении сформулирована актуальность темы диссертационной работы, сформулированы цели и задачи, научная новизна, практическое значение, а также описана структура работы.