Математическое и программное обеспечение полнотекстового поиска в базах данных на основе концептуального моделирования

• Автор: Колосов, Алексей Павлович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Тула
• Количество страниц: 171 с. : ил.

Оглавление
Введение
1 Системы полнотекстового поиска: состояние и актуальные задачи развития
1.1 Задача полнотекстового поиска
1.2 Обзор существующих алгоритмов
1.2.1 Теоретико-множественные модели
1.2.2 Алгебраические модели
1.2.3 Вероятностные модели
1.2.4 Свойства моделей
1.2.5 Обработка словосочетаний
1.3 Применяемые модели и методы
1.3.1 Концептуальные модели и их применение
1.3.2 Обработка структуры документов
1.4 Постановка задач исследования
1.4.1 Особенности поставленной задачи
1.4.2 Задачи исследования
Выводы к главе
2 Алгоритмическое и программное обеспечение поддержки концептуальных
графов в информационных системах
2.1 Концептуальный граф как семантическая модель текстовых данных
2.1.1 Определение концептуального графа

2.2 Применение концептуальных графов для идентификации словосочетаний
2.3 Алгоритм построения концептуальных графов
2.3.1 Общий принцип построения концептуальных графов
2.3.2 Алгоритм концептнографического анализа
2.3.3 Алгоритм формирования концептуального графа из элементов предложения
2.3.4 Инвариантность алгоритма относительно последовательности слов предложений
2.4 Применение концептуальных графов для идентификации словосочетаний
Выводы к главе
3 Технология концептуального моделирования для извлечения словосочетаний в системах полнотекстового поиска
3.1 Разработка алгоритма индексирования документов с обработкой знаков препинания
3.2 Применение концептуальных графов для идентификации словосочетаний в тексте
3.3 Разработка алгоритма полнотекстового поиска с применением словосочетаний
3.3.1 Булевский поиск
3.3.2 Вычисление релевантности
Выводы к главе

4 Программная реализация технологии концептуального моделирования в
системе полнотекстового поиска
4.1 Архитектура системы
4.2 Структура базы данных
4.3 Разработка модуля взаимодействия с базой данных
4.4 Разработка словарного модуля
4.5 Разработка модуля индексирования
4.6 Разработка модуля обработки текстов
4.7 Разработка модуля обработки словосочетаний
4.8 Разработка модуля поиска
4.9 Пример применения разработанной технологии в системе технической поддержки
Выводы к главе
5 Экспериментальные исследования технологии концептуального
моделирования
5.1 Задачи экспериментальных исследований разработанной технологии
5.2 Организация экспериментальных исследований
5.3 Определение веса отношений
5.4 Оценка качества выделения словосочетаний
5.5 Оценка качества вычисления релевантности
5.6 Выбор веса полей индексируемых документов
5.7 Выбор величин искусственного изменения позиций слов
5.8 Оценка качества алгоритма полнотекстового поиска

3. Разработка нового алгоритма поиска, включающего в себя алгоритм вычисления релевантности документа множеству ключевых словосочетаний, выделенных из текста запроса.
4. Разработка программного обеспечения, реализующего предлагаемые алгоритмы.
5. Экспериментальная проверка эффективности разработанных алгоритмов и настройка алгоритмов на основе реальных данных.
Выводы к главе
1. Сформулирована задача полнотекстового поиска в базах данных по запросам, являющимся текстами из нескольких предложений на естественном языке, актуальная для систем технической поддержки, форумов и прочих информационных ресурсов, посвященных ответам на вопросы.
2. На основе анализа показано, что точность существующих алгоритмов недостаточна для эффективного решения поставленной задачи, поэтому целью работы является создание нового, более точного, алгоритма поиска по текстам запросов, состоящих из нескольких предложений на естественном языке.
3. Предложено применять концептуальные графы для моделирования смысла запросов.
4. Поставлены следующие задачи исследования:
• Разработка нового алгоритма извлечения ключевых словосочетаний из текстов на естественном языке.
• Разработка нового алгоритма поиска, включающего в себя алгоритм вычисления релевантности документа множеству ключевых словосочетаний, выделенных, из текста запроса.
• Разработка программного обеспечения, реализующего предлагаемые алгоритмы.
• Экспериментальная проверка эффективности разработанных алгоритмов и настройка алгоритмов на основе реальных данных.