Развитие методов и моделей формирования интеллектуального контента

• Автор: Евсюткин, Александр Сергеевич
• Шифр специальности: 08.00.13
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Москва
• Количество страниц: 152 с. : ил.

Содержание
Термины и определения
Введение
1. Сравнительная характеристика современных технологий поиска, методов организации поиска и поисковых систем для сети Интернет
1.1. Задачи информационного поиска
1.1.1. Классификация документов
1.1.2. Кластеризация документов
1.1.3. Выделение информации из текста
1.1.4. Разработка архитектуры поисковой системы и интерфейса пользователя
1.1.5. Оценка качества информационного поиска
1.2. Устройство и принцип функционирования современных Интернет-поисковых
систем
1.2.1. Составные части поисковых систем
1.2.2. Современные алгоритмы обработки поисковых запросов
1.2.3. Организация параллельного поиска
1.2.4. Алгоритмы ссылочного ранжирования, применяемые в современных поисковых
системах
1.3. Концепция информационной экологии
1.3.1. Понятие экологического Интернета
1.3.2. Принципы, лежащие в основе экологического подхода
1.4. Сравнительная характеристика существующих поисковых систем
1.4.1. История возникновения поисковых систем для сети Интернет
1.4.2. Сравнительный анализ возможностей современных поисковых систем
1.4.3. Индивидуальные особенности современных поисковых систем
1.4.4. Недостатки современных поисковых систем
1.5. Выводы по Г лаве
2. Теоретические и методические вопросы формирования интеллектуального контента
2.1. Повторное автоматическое ранжирование поисковой выдачи
2.1.1. Комбинация признаков ранжирования поисковой выдачи

2.1.2. Метод повторного автоматического ранжирования
2.2. Метод автоматического реферирования
2.2.1. Типы используемых рефератов
2.2.2. Принцип функционирования, архитектура системы автоматического
реферирования
2.2.3. Применение модели автоматического реферирования к ЫтТдокументам
2.2.4. Применение нейронной сети для автоматического реферирования Ыт1-документов

2.3. Применение латентно-семантического индексирования для поиска текстов
одинаковой тематики
2.3.1. Принципы, лежащие в основе латентно-семантического индексирования
2.3.2. Алгоритм латентно-семантического анализа
2.3.3. Возможное улучшение существующего алгоритма /2?
2.4. Алгоритм «Стеммер Портера» для обработки текстовой информации перед
латентно-семантическим анализом
2.4.1. Задача выделения корня из слова
2.4.2. Описание алгоритма стемминга
2.5. Механизм формирования интеллектуального контента при поиске
2.5.1. Принципы построения модели формирования интеллектуального контента
2.5.2. Алгоритм формирования интеллектуального контента
2.6. Выбор СМ8 для реализуемого модуля «Формирование интеллектуального
контента»
2.6.1. Понятие системы управления контентом (СМ8)
2.6.2. Классификация СМ8
2.6.3. Сравнение сугцествующих СМ5 с открытым исходным кодом
2.6.4. Обзор отличительных особенностей системы управления контентом «Пгира1»
2.7. Выводы по Г лаве
3. Разработка системы формирования интеллектуального контента при поисковом запросе
3.1. Модель формирования интеллектуального контента
3.1.1. Метод извлечения значимого текста га Ыт1-документа

3.1.2. Математическая модель формированш интеллектуального контента
3.1.3. Применение нейронной сети с целью улучшения метода извлечения значимого текста из Ъш1-документа
3.2. Разработка архитектуры системы формирования интеллектуального контента
3.2.1. Функциональные модули Интернет-портала
3.2.2. Компоненты системы формирования интеллектуального контента
3.2.3. Методические рекомендации по организации процесса поиска и формированию
интеллектуального контента
3.3. Распределение ролей и прав доступа пользователей при эксплуатации системы формирования интеллектуального контента
3.3.1. Выделение классов пользователей системы
3.3.2. Выделение процессов системы
3.3.3. Распределение прав доступа в системе
3.4. Оценка трудоемкости и эффективности создания системы формирования интеллектуального контента при поисковом запросе
3.4.1. Оценка трудоемкости создания системы для органов муниципального
самоуправления
3.4.2. Оценка трудоемкости создания системы для субъектов малого и среднего бизнеса
3.4.3. Оценка экономической эффективности от создания системы
3.5. Выводы по Главе
Заключение
Список литературы

Иными словами, часто встречающиеся слова испортят
окончательную оценку документа. Это нежелательно, поэтому во многих приложениях вышеприведённая формула может быть скорректирована следующими способами:
• Игнорировать вообще все отрицательные слагаемые в сумме (что эквивалентно занесению в стоп-лист и игнорированию всех соответствующих высокочастотных слов);
• Налагать на IDF некоторую нижнюю границу г: если IDF меньше е, то считать её равной £
• Использовать другую формулу IDF, не принимающую отрицательных значений.
Сами алгоритмы ранжирования бывают трех видов:
1. Поточечные алгоритмы. В данном случае парам «запрос-документ» в соответствие ставится численная оценка, задача обучения ранжированию сводится к построению регрессии: для каждой пары предсказывается ее оценка.
2. Алгоритмы попарного сравнения. Сводятся к построению бинарного классификатора, на вход поступают два документа, соответствующих одному и тому же запросу, а его задача определить, какой из них лучше.
3. Списочные алгоритмы. Данные алгоритмы отличаются тем, что на вход поступают сразу все документы, соответствующие запросу, а на выходе задается порядок их выдачи.
Наиболее популярными из существующих алгоритмов ссылочного ранжирования, применяемых поисковыми машинами в настоящее время, являются PageRank и ИЦ, рассмотрим подробнее принцип их работы.
PageRank представляет числовую величину, характеризующую «важность» страницы. Чем больше ссылок на страницу, тем важнее она