Моделирование мониторинга информационного поля Internet

• Автор: Земсков, Илья Аркадьевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Омск
• Количество страниц: 180 с. : ил.

Оглавление
Введение

Глава 1. Анализ систем мониторинга информационного поля гегпе

1.1. Структура информационного поля.

1.2. Условия проведения мониторинга.

1.3. Классификация стратегий осуществления мониторинга

1.3.1. Концепция роботов.

1.3.2. Концепция сенсоров

1.3.3. Концепция мобильных роботов.

1.4. Критерии эффективности систем мониторинга

1.5. Выводы.

Глава 2. Моделирование системы мониторинга
2.1. Анализ ситуации с моделированием систем мониторинга
2.2. Математическая модель процесса мониторинга.
2.3. Имитационные модели системы мониторинга
2.3.1. Модель робота.
2.3.2. Модель сенсоров.
2.4. Задание используемых законов распределений.
2.5. Выводы.
Глава 3. Реализация программного комплекса имитационного моделирования систем мониторинга
3.1. Выбор среды моделирования
3.2. Соглашения о внутреннем устройстве комплекса.
3.3. Общая настроечная информация.
3.4. Модули комплекса.
3.4.1. Создание набора ресурсов
3.4.2. Создание истории изменения ресурсов.
3.4.3. Создание истории запросов ресурсов
3.4.4. Создание маршрута робота.
3.4.5. Имитация системы роботов.
3.4.6. Имитация системы модифицированных роботов
3.4.7. Имитация системы сенсоров
3.4.8. Извлечение накопленной статистики
3.4.9. Объединение статистики нескольких экспериментов
3.5. Выводы.
Глава 4. Пример использования разработанного комплекса
4.1. План проведения эксперимента.
4.2. Реализация.
4.3. Анализ результатов эксперимента
4.4. Выводы.
Заключение
Литература


В данной ситуации видится необходимым отфильтровывать заведомо бесполезные («снам») ИР. Минимизация нагрузки на информационный источник: любая попытка сбора (мониторинга) сведений о доступных информационных ресурсах повлечёт за собой потери вычислительной мощности и «неэффективной» нагрузке на аппаратные ресурсы (например, создание нагрузки на дисковые накопители) любого информационного источника (Web-сервер, место хранения информационных ресурсов). Это в свою очередь может вызвать отрицательную реакцию со стороны владельца информационного источника. Минимизация нагрузки на каналы связи: здесь следует вспомнить о том, что сбор информации о доступных ИР подразумевает передачу определённых объёмов информации с узла источника информации на узел мониторинга. Поэтому, например, у владельцев больших коммерческих поисковых систем проблема данного типа нагрузки имеет вполне осязаемую шкалу измерения - финансовую. В больших финансовых расходах можно легко убедиться, проделав самые простые подсчёты при известных объёмах информации, которая передаётся от информационных источников к поисковой системе по коммерческим каналам связи и при известной стоимости передачи единицы информации ($/Gb) []. Например, соответствующие советы но оптимизации своих ИР для поисковых систем можно найти на сайте httn://www. Ц, в котором для построения корпоративной сети используют коммерческие сегменты 1гПегпе1 коммуникаций. Ещё нужно помнить о том, что каналы связи не имеют способности по первому же запросу увеличивать беспредельно свою «ширину», т. Оптимизация нагрузки на модули сбора и накопления информации: для описания данной проблемы, следует вспомнить ситуации, когда система мониторинга должна заниматься обнаружением новых ИР, анализируя содержимое уже известных ИР или когда должна обрабатывать большие объёмы скачиваемых данных, приводя их в надлежащий вид (например, для репозитория поисковой системы). Таким образом, без должной оптимизации всех нюансов (алгоритмов, структур данных и т. В прошлом параграфе мы кратко рассмотрели проблемы стоящие перед разработчиками системы мониторинга. Вполне резонно предположить, что различные группы исследователей-разработчиков по-разному ставят приоритеты при решении этих проблем. Однако, при всём кажущемся многообразии подходов к решению этих проблем, все используемые при реализации системы мониторинга алгоритмы, на наш взгляд, укладываются в три конкурирующие концепции. В рамках каждой из концепций общие проблемы, описанные в предыдущем параграфе, принимают новый вид, новое осмысление. В проблемах появляется некоторая конкретика, касающаяся направления их решения. Например, сейчас модными стали публикации об исследовании объёмов «охвата» УеЬ поисковыми системами (хорошие обзоры по данной теме публикуются на сайте http://www. Эти исследования показывают, что даже самые «большие» (и соответственно самые передовые в этой области) поисковые системы охватывают своим поиском (т. Поэтому с учётом непрерывного роста объёмов УеЬ, ещё более актуальным становится вопрос о необходимости оптимизации и совершенствования алгоритмов мониторинга информационных ресурсов УеЬ, которые используются разработчиками «больших» поисковых систем. Если в качестве классифицирующего признака выбрать информацию о месторасположении модуля системы мониторинга, который отвечает за обнаружение изменений в информационных ресурсах, то можно распределить все существующие стратегии по трём основным классам. Далее мы кратко опишем все три класса-концепции. Рассмотрение начнём с самой популярной и наиболее проработанной концепции. Основу реализаций системы мониторинга составляет программный код, именуемый в литературе «сетевым роботом», пауком, краулером, индексатором и т. Так как единого мнения по этому вопросу нет, то мы договоримся далее в работе называть его роботом. Алгоритм работы робота заключается в циклическом «обходе» информационных ресурсов (под словом обход здесь понимается скачивание ИР к себе), адреса (1Л1Ь) которых содержатся в списке известных ресурсов.