Разработка и модификация моделей и алгоритмов поиска данных в INTERNET/INTRANET среде для улучшения качества поиска

• Автор: Хорошко, Максим Болеславович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Новочеркасск
• Количество страниц: 225 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
1. АНАЛИЗ ИНТЕРНЕТ ТЕХНОЛОГИЙ И ФОРМАЛИЗАЦИЯ ПРОБЛЕМЫ ИНФОРМАЦИОННОГО ПОИСКА
1Л Классификация поисковых систем и моделей информационного поиска
1.2 Особенности реализации технологии информационно-поисковой системы
1.3 Анализ существующих постановок и методов решения задачи оптимизации информационного поиска
1.4 Формализация проблемы оптимизации информационного поиска и построение математической модели ИПС
Выводы по главе
2. ФОРМИРОВАНИЯ НАБОРА МЕТРИК ЭФФЕКТИВННОСТИ ДЛЯ ОЦЕНКИ СИСТЕМ ИНФОРМАЦИОННОГО ПОИСКА
2.1 Постановка задачи оценки информационно-поисковой системы
2.2 Метрики оценки информационно-поисковых систем
2.3 Экспериментальное исследование предложенной метрики ошибок
2.4 Оценка релевантности и выбор оптимального набора метрик
2.5 Оценка качество системы и её полезность для пользователя
Выводы по главе
3. МЕТОДЫ ПОСТРОЕНИЯ ИНДЕКСА ПОИСКОВОЙ СИСТЕМЫ.
3.1 Метод инвертированных и сигнатурных файлов
3.2 Суффиксные массивы
3.3 Построение индекса в виде дерева

3.4 Индексные структуры для нечетких сравнений
Хеширование по сигнатуре
3.5 Модификация метода инвертированных файлов
3.6 Экспериментальное исследование методов построения индекса
Выводы по главе
4. МОДИФИКАЦИЯ АЛГОРИТМОВ ОПТИМИЗАЦИИ ИНФОРМАЦИОННОГО ПОИСКА И ИХ ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ
4.1 Описание генетического алгоритма для системы поиска и оценка сложности
4.2 Описание экспериментальных исследований
4.3 Модификация алгоритмов булевого поиска и их экспериментальное исследование
4.4 Модификация модели векторного пространства для ранжирования и экспериментальное исследование алгоритмов
4.5 Модификация вероятностной модели информационного поиска и экспериментальное исследование
4.6 Экспериментальное исследование модификации методов обратной связи по релевантности
4.7 Экспериментальное исследование модификации языковых моделей информационного поиска
4.8 Оценка алгоритмов поиска информации Sphinx, Lucene, Xapian
4.9 Улучшенная модель поиска
Выводы по главе

5. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ ИНФОРМАЦИОННОГО ПОИСКА И ИХ ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ
5.1 Модель информационно-поисковой системы
5.2 Имитационные модели информационно-поисковой системы
5.3 Проектирование приложения - информационно поисковой системы IRSI
5.4 Программная реализация алгоритмов
Выводы по главе
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
ПРИЛОЖЕНИЕ А
ПРИЛОЖЕНИЕ Б
ПРИЛОЖЕНИЕ В
ПРИЛОЖЕНИЕ Г

— это число ключевых слов, которые в поле появились ровно в таком же порядке, как и в запросе.
Чтобы получить окончательный вес фразы для документа, веса фразы в каждом поле перемножаются на указанные пользователем веса полей, и результаты умножения складываются вместе. (По умолчанию веса полей равны 1, и не могут быть выставлены ниже 1.) doc_phrase_weight(query)
где count_field - количество полей, по которым производиться поиск, user_weight - вес данного поля заданный пользователем.
Режимы ранжирования (ранкеры) собирают из разных факторов конечный вес. Веса на выходе целочисленные.
Ранкер по умолчанию называется SPH_RANK_PROXIMITY_BM25 и комбинирует вес фразы с ВМ25. Фактор ВМ25 располагается в нижних 3 десятичных знаках, вес фразы начиная с 4го и выше. Существует два связанных ранкера, SPH_RANK_PROXIMITY и SPH_RANK_BM25. Первый возвращает в качестве веса просто сам фактор веса фразы. Второй считает только ВМ25, а веса фразы в каждом совпавшем поле принимает равными единице.
Используемые ранкеры:
• SPH_RANK_PROXIMITY_BM25 (по умолчанию): rank_proximity_bm25 = doc_phrase_weight * 1000 + bm25 * 999,
• SPH RANK PROXIMITY:
• SPH_RANK_BM25 (быстрый, т.к. не нужно считать веса подфраз):
rank._bm.25 = sum {matching_field_weight') * 1000 + bm25 * 999.
count Jield

rankproXimity — docphraseweight,