Многоагентная система для поиска и обработки тематико-ориентированной информации

• Автор: Карцан, Игорь Николаевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Красноярск
• Количество страниц: 185 с. : ил.

СОДЕРЖАНИЕ
Введен ие.

1 Мультиагентные системы

1.1 Основные понятия.

1.2 Архитектуры мультиагентных систем.

1.3 Проектирование мультиагентных систем

1.4 Агентные системы и поиск информации.

1.5 Типовая структура и алгоритмы поисковой мультиагентной системы

Выводы по разделу 1.

2 Принципы организации поисковых систем сети 1гйете1.

2.1 Проблемы поиска в Интернете.

2.2 Виды и принципы работы поисковых систем.
2.3 Особенности поисковых систем и каталогов
2.4 Принципы организации поисковых систем.
2.5 Метаноисковые системы.
2.6 Персонифицированная поддержка навигации в сети 1Шсте1.
2.7 Этапы процесса персонификации.
2.8 Системы создания информационных ресурсов и информационные ресурсы с
поддержкой персонификации.
2.9 Перспективы применения персонификации в информационных системах.
Выводы по разделу 2.
3 Модели и алгоритмы многоагентных систем поиска и обработки
мультилингвистической информации.
3.1 Обобщенный алгоритм работы поисковых систем
3.2 Модели информационного поиска.
3.3 Алгоритмическое обеспечение тематикоориентироваиного мониторинга и персонификации.
3.4 Оценка качества поисковых алгоритмов.
Выводы по разделу 3
4 Система формирования и управления тематическими коллекциями
узкоспециализированной информации.
4.1 Функциональная структура системы
4.2 Алгоритм работы подсистемы формирования тематикоориентированных
коллекций
4.3 Алгоритм работы подсистемы обработки пользовательского запроса
4.5 Реализация алгоритмов системы поиска информации.
4.6 Реализация алгоритмов системы обработки пользовательского запроса.
4.7 Архитектура подсистемы тематикоориентированного мониторинга
4.8 Проведение эксперимента.
Выводы по разделу 4.
Заключение
Список использованных источников


Основными характеристиками поисковых систем являются объём индекса, язык запросов пользователя, представление исходных и входных документов, время индексации и поиска. Как правило, поисковые машины обеспечивают интерфейс типа «текстовое поле-кнопка», с помощью которого пользователь может скомпоновать запрос на поиск информации, использую ключевые слова и логические связки. Большинство машин находят огромное количество «релевантных» страниц по запросу пользователя. Каждый найденный документ ранжируется по степени его корреляции с запросом. Релевантность каждого документа оценивается с помощью разных технологий: учёта частоты появления на странице искомых слов, «расстояния» между искомыми словами, содержимого метатегов, пространственно-временного контекста документа, популярности ресурса в рейтингах, использование индекса цитирования. Типичную организацию машин поиска можно рассмотреть на примере машины VebCrawler, разработанной в университете Вашингтон (Сиэтл, США). VebCrawler начинает процесс поиска новых сайтов с известных ему документов и переходит по ссылкам на другие страницы. Поисковый механизм работает в двух режимах: поиск документов в реальном времени и индексирование документов. В режиме индексирования система строит индекс информации из найденных документов, в режиме поиска - документы, максимально соответствующие запросу пользователя. Агенты в системе VebCrawler отвечают за извлечение документов из сети. Для выполнения этой работы поисковый механизм находит свободного агента и передаёт ему задание на поиск. Агент приступает к работе и возвращает либо содержание документа, либо объяснения, почему документ не может быть доставлен. Агенты запускаются как отдельные процессы, что позволяет изолировать основной процесс работы системы от ошибок и проблем с памятью. Одновременно используется до агентов []. В базе данных хранятся метаданные документов, связи между документами и полнотекстовый индекс. База обновляется каждый раз, когда поступает новый документ. Для отсечения семантически незначимых слов существует стоп-словарь. Словам из документа приписывается вес, равный частоте их появления в данном тексте, делённой на частоту появления слова в ссылках на другие документы. Такой индекс позволяет быстро находить по заданному слову ссылки на документы, его содержащие. Аналогичным образом устроены и другие машины поиска. Они не могут настраиваться на предпочтения пользователя и не имеют достаточных средств для анализа информации, а сетевым роботам становится всё труднее справляться с постоянным ростом ресурсов Интернета. Главной задачей машин поиска является индексация ресурсов глобальной сети. Фактически в базах данных машин поиска хранится информация о том, где и что лежит в Сети. Первым уровнем надстройки над поисковыми машинами являются неспециализированные поисковые агенты. Такие агенты обеспечивают поиск по ключевым словам и устойчивым словосочетаниям. Кроме поиска они поддерживают различные и многочисленные сервисы, например, передача запроса пользователя на множество машин поиска, настройка на личные предпочтения пользователя, формирование тематической базы данных на основе результатов поиска пользователя. Системы агентов объединяют ссылки на сайты, найденные множеством машин поиска, и удаляют неработающие ссылки. Специализированные поисковые агенты предназначены для поиска информации узкой тематики. Большинство таких агентов устроено очень жестко. Они умеют очень хорошо работать на сайтах своей тематики и показывают очень слабые результаты на всех остальных сайтах. При этом даже адреса сайтов могут быть зашиты в исходные коды агента. Системы, построенные на базе специализированных агентов, предоставляют пользователям определённый пакет для организации и управления найденной информацией. Как правило, такие системы содержат набор агентов, каждый из которых ориентирован на поиск информации только по одной теме []. Метапоисковая система - это система, которая предоставляет единый доступ к нескольким другим поисковым системам, т. Повышение полноты охвата.