Моделирование процесса автоматического извлечения знаний в вопросно-ответных системах

• Автор: Степанова, Надежда Александровна
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Великий Новгород
• Количество страниц: 156 с.

ВВЕДЕНИЕ.
Глава 1 Модель автоматического извлечения знаний для вопросноответных компьютерных систем.

1.1 Общие положения.

1.2 Лексическое значение

1.2.1 Компонентный анализ и постулаты значения

1.2.2 Отношения синонимии, антонимии, гннонимии.

1.2.3 Полисемия.

1.2.4 Толкование лексического значения

1.3 Анализ методов обработки корпуса текстов

1.4 Метод формализация семантики генитивной конструкции.

1.4.1 Интенсиональная логика

1.4.2 Теория сорта и сортовые сдвиги
1.5 Теория решеток
1.6 Анализ существующих методов классификации и разрешения
многозначности
1.7 Выводы по главе 1.
Глава 2 Модель концептноориентированного лексикона на основе
генитивных конструкций
2.1 Постановка задачи.
2.2 Формализация семантики генитивной конструкции.
2.3 Генитивная конструкция в решетке формальных понятий.
2.3.1 Анализ формальных понятий.
2.3.2 Формальная решетка генитивных конструкций.
2.4 Критерий полезности решетки.
2.5 Модель семантических отношений порядка в решетке
2.6 Выводы по главе 2.
Глава 3 Метод разбиения решетки для извлечения сортов и снятия
семантической многозначности
3.1 Общие положения.
3.2 Семантическое расстояние
3.2.1 Семантическая близость
3.2.2 Семантическая схожесть н связность
3.3 Мера схожести в решетке формальных понятий
3.4 Алгоритм сегментации решетки
3.5 Выводы по главе 3.
Г лава 4 Методы поиска ответов в ВОС с помощью Концептноориентированного Лексикона КОЛ
4.1 Общие положения.
4.2 Архитектура типовой ВОС.
4.3 Классификация вопросов
4.4 Исследование свойств кон це птиоориентиро ванного лексикона
4.4.1 Собирательные и абстрактные существительные в решетке формальных понятий.
4.4.2 Снятие семантической многозначности в концептноориентированном лексиконе.
4.5 Методы использования концептноориентированного лексикона в ВОС
4.6 Выводы по главе
Глава 5 Экспериментальная проверка модели приобретения знаний для вопросноответных систем.
5.1 Общие положения
5.2 Описание используемого корпуса текстов и методов его обработки
5.2.1 Оценка качества исходных данных
5.2.2 Описание требований к корпусу текстов
5.3 Описание программного комплекса
5.3.1 Выбор алгоритма порождения формальных понятий
5.3.2 Оценка сложности алгоритма сегментации решетки.
5.4 Испытания программного комплекса.
5.5 Выводы но главе
ЗАКЛЮЧЕНИЕ.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК.
СПИСОК СОКРАЩЕНИЙ
АРП Анализа Реляционных Понятий
АФП Анализа Формальных Понятий
ВОС ВопросноОтветная Система
ГК Генитивная Конструкция
ГО Генитивное Отношение
ЕЯ Естественный Язык
ИЛ Интенсиональная Логика
ИП Исчисление Предикатов
КОЛ Концеитноориентированный Лексикон
НОСИ Наименьшее Общее Суперпонятие
НОПП Наибольшее Общее Подпонятие
НОП Наименьшее Общее Понятие в иерархии V
ОЕЯ Обработка Естественного Языка
РОСС Русский Общесемантический Словарь
СО Семантическая Омонимия
СП Синтаксическое Представление
ТСТ Теория Смысл Текст
ТКС ТолковоКомбинаторный Словарь
ФП Формальное Понятие
ЭЛР Эталонный Лексический Ресурс
ВВЕДЕНИЕ


Для решения этой проблемы набор ключевых слов вопроса должен быть расширен за счет слов, семантически связанных с ключевыми словами. Перефразирование вопроса и ответа. Для вопроса Кто является автором Илиады следующее предложение должно быть расценено системой как релевантное Гомер написал Илиаду и Одиссею. Удаление избыточности в ответах. Таким образом, рассматриваемая задача автоматического пополнения лексических ресурсов, предназначенных для ВОС и ориентированных на решение описанных выше проблем, является актуальной на данном этапе развития ВОС. Пополнение лексических ресурсов осуществляется на основании корпуса текстов или машинночитаемых словарей. При выделении семантических классов важно не только выполнить кластеризацию, но й выделить критерий схожести элементов класса. Несмотря на впечатляющие достижения, которые были достигнуты в построении ручных тезаурусов типа V, область покрытия тезаурусов, особенно для русского языка, все еще является ограничителем для развития вопросноответных систем. Теория СмыслТекст ТСТ , являясь практически первой в СССР кибернетической теорией в области лингвистики, ставящей перед собой прикладные цели создать двунаправленный лингвистический процессор, использовала ТолковоКомбинаторный Словарь ТКС для задания морфологических, синтаксических, семантических характеристик и толкований заглавного слова. В приведены данные о том, что первый вариант ТКС, включающий описание 0 лексем, объединенных в 0 вокабул, составлялся группой из участников в течение лет. ОЕЯ. На сегодняшний день разработано множество методов извлечения семантических отношений и снятия омонимии, которые используются в ВОС. Оба подхода дополняют друг друга методы, основанные на шаблонах, показывают хорошую производительность для извлечения гипонимии, а дистрибутивный подход обычно используется для извлечения синонимии и меронимии. Как показано в 1, подход, основанный на шаблонах, должен быть обязательно дополнен методами автоматического извлечения шаблонов из корпуса текстов. Для оценки схожести слов применяется сравнение векторов признаков слов на основе геометрических мер косинусмера, нормамера, корреляционных коэффициентов, комбинаторных мер коэффициент Жаккарда, коэффициент Дайса, мер заметцаемости, коэффициентов взаимной зависимости. Маркова , метод ксредних , метод максимума правдоподобия xi xiii . Большинство иерархических алгоритмов имеют сложность 0п2. Результатом кластеризации обычно является неименованная иерархия и далее, как правило, применяются алгоритмы для назначения имен кластеров 1, 7, 9. В данной работе для задачи автоматического извлечения лексикосемантических знаний применяются методы Анализа Формальных Понятий АФП . Знания совокупность сведений о мире, включающих в себя информацию о свойствах объектов, закономерностях процессов и явлений, а также правилах использования этой информации для принятия решений. Лексикосемантические знания включают денотативный и смысловой компоненты связанной с лексемой информации. Практически все перечисленные выше методы в чой или иной степени оперируют идеей концепта понятия. Формализация понятий и их последующий анализ с помощью решетки позволяют оперировать данными на семантическом уровне без потери или недопустимого упрощения объектов и их признаков, в отличие от представления атрибутов с помощью векторов и их статистической обработки. Классификация объектов и результаты анализа данных с помощью АФП могут быть интерпретированы исследователем для предметной области. Анализ формальных понятий это метод анализа данных, основанный на математической теории решеток. Основой АФП является доказанная Г. Биркгофом теорема 7 о том, что для любого бинарного отношения можно построить полную решетку. Исследуемая область описывается в терминах набора объекгов и атрибутов, вводится описание формального контекста, формальных понятий и решетки, отображаемой с помощью линейных диаграмм. Теоретикорешеточная формализация концептов позволяет выполнить кластеризацию, визуализацию и исследование атрибутов понятий.