Разработка методов и алгоритмов тематически ориентированного распределенного поиска информации в глобальных сетях типа Интернет

• Автор: Амамра Рушди Ахмад
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2002
• Место защиты: Санкт-Петербург
• Количество страниц: 209 с. : ил

СОДЕРЖАНИЕ
ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ СИСТЕМ И МЕТОДОВ ПОИСКА ИНФОРМАЦИИ В ИНТЕРНЕТ

1.1. Информационный поиск

1.1.1. Место изучаемых методов поиска в теории

информационного поиска.

1.1.2. Информационные потребности пользователя и язык

запросов.

1.1.3. Релевантность.

1.1.4. Оценка качества поиска

1.1.5. Основные модели представления данных и поиска.

1.1.5.1. Булева модель.
1.1.5.2. Модель векторного пространства
1.1.5.3. Вероятностная модель
1.1.6. Латентное семантическое индексирование
1.1.7. Вероятностное латентное семантическое
индексирование.
1.2. Анализ существующих систем поиска информации в Интернет
1.2.1. Характеристика классических поисковых систем
1.2.2. Описание, задачи и основные требования к поисковым системам VVV
1.2.3. Обзор классических поисковых систем VV.
1.2.4. Архитектура и недостатки поисковых систем.
1.2.4.1. Системы с централизованной архитектурой.
1.2.4.2. Децентрализованная распределенная архитектура предлагаемой поисковой системы.
1.2.5. Основные задачи, решаемые компонентами разрабатываемой системы с децентрализованной
распределенной архитектурой
1.2.5.1. Информационный агент.
1.2.5.2. Маршрутизация запросов пользователей.
1.2.5.3. Настраиваемый пользовательский интерфейс.
1.3. Выводы
ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМА И АРХИТЕКТУРЫ ТЕМАТИЧЕСКОГО ИНФОРМАЦИОННОГО АГЕНТА
2.1. Архитектура агента
2.2. Фильтр ядра индекса.
2.3. Фильтр запросов пользователей.
2.4 Управление очередью ссылок.
2.5. Алгоритм работы агента
2.6. Эксперименты
2.7. Заключение
ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМА И АРХИТЕКТУРЫ
БРОКЕРА, ОСУЩЕСТВЛЯЮЩЕГО МАРШРУТИЗАЦИЮ ЗАПРОСОВ ПОЛЬЗОВАТЕЛЯ.
3.1. Задачи, решаемые брокером запросов
3.2. Архитектура брокера.
3.3. Алгоритм работы брокера.
3.3.1. Оценка числа документов, релевантных запросу пользователя
3.3.2. Алгоритм маршрутизации.
3.4. Описание коллекций и результаты экспериментов.
3.5. Заключение
ГЛАВА 4 РАЗРАБОТКА НАСТРАИВАЕМОГО
ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА.
4.1. Информационные потребности пользователя и язык
запросов.
4.2. Сценарии работы пользователя
4.3. Выявление информационных потребностей
пользователя.
4.4. Поиск
4.4. Поиск
4.5. Результаты экспериментов.
4.6. Заключение.
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ


Разработанный метод интеллектуального поиска релевантной информации в гипертекстовой информационной среде (Интернет), позволяющий существенно сократить объем просматриваемой при поиске информации за счет ориентации поиска в перспективных для тематического индекса направлениях. Программный модуль, реализующий разработанный сценарий интерфейса пользователя, который служит для выявления информационных потребностей пользователя, сокращает время навигации пользователя по результатам поиска в ответ на его запрос за счет сопровождения каждого документа тематической меткой. Практические рекомендации для проектирования действующих поисковых систем с децентрализованной архитектурой на основе разработанных вариантов функционирования распределенных децентрализованных поисковых систем на базе тематического агента, брокера, тематического индекса, интеллектуального интерфейса пользователя. Апробация работы. Основные результаты работы докладывались и обсуждались на III научно-методической конференции " Интернет технологии и современное общество" (Санкт-Петербург, ), международной научно-методической конференции "Телематика" (Саикт-егербург, и ), международной конференция но мягким вычислениям и измерениям (Санкт-Петербург, и ). Публикации. Результаты, полученные в работе, нашли отражение в печатных работах, из них две - в журнале "Приборостроение", семь работ были опубликованы в сборниках научных трудов международных конференций. Структура работы. Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 2 страницах, содержит рисунков, 4 таблицы и 6 приложений на страницах; всего 5 страниц. ГЛАВА 1. Традиционные методы поиска информации основывались на различных системах индексирования печатных изданий, внесения индексной информации в каталоги и на ручном поиске в каталоге. С появлением ЭВМ каталоги стали храниться в базах данных, обеспечивающих быстрый поиск, как локальный, так и удаленный. Одновременно появилась возможность хранить в электронной форме и сами документ! Ручное индексирование документов является весьма трудоемким и дорогостоящим процессом. Существуют стандарты, требующие для каждого документа заполнять форму содержащую до 0 полей. Хранение документов в электронной форме позволяет автоматизировать процесс индексирования. Традиционное индексирование позволяет выполнять поиск по ограниченному набору атрибутов (автор, название, год издания и т. Электронная форма документа позволяет сохранять в индексе информацию о всех вхождениях каждого слова в документ, о структуре документа (разбиение текста на главы и т. В результате становится возможен гак называемый полнотекстовый поиск, при котором учитывается весь текст документа. Интернет - новый и важный источник информации. На февраль года в Интернет было размещено более миллиарда страниц. По некоторым оценкам ежемесячно публикуется около миллионов новых документов. Причем ежемесячно изменяется до процентов ранее опубликованной информации. Среднее время жизни WWW страницы около дней. Большая доля документов виртуальны в том смысле, что они формируются в ответ на некоторый запрос пользователя и не хранятся в явном виде. Как правило, это результаты поиска в различных базах данных. В Интернет используется более 0 естественных языков. Сами документы представляются в различных форматах, таких как html, xml, Word, PostScripi, PDF. Приведенные данные показывают, что без эффективных систем поиска информации польза от Интернет будет мала. Говоря о системах поиска необходимо упомянуть о двух классах поисковых систем - фактографических и документальных[7,8]. Фактографические системы дают точные и полные ответы на запрос пользователя. Это возможно только при весьма серьезных ограничениях и на представление информации в таких системах, и на язык запросов. В настоящее время наиболее популярные системы такого типа представлены реляционными базами данных. Информация в реляционных базах данных хранится в виде совокупности таблиц заданных форматов. Язык запросов, например SQL, позволяет пользователю описать новую таблицу, которую он хотел бы получить как ответ на свой запрос. При этом указываются связи между таблицей - результатом поиска и таблицами, хранящимися в базе данных.