Разработка и исследование алгоритмических, программных и архитектурных решений для проектирования систем тематической категоризации Интернет-ресурсов в телекоммуникационных сетях

• Автор: Свечников, Сергей Владимирович
• Шифр специальности: 05.13.13
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Москва
• Количество страниц: 157 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ.
ГЛАВА 1. ОБЗОР СОВРЕМЕННЫХ МЕТОДОВ И СРЕДСТВ ТЕМАТИЧЕСКОЙ КАТЕГОРИЗАЦИИ РЕСУРСОВ ИНТЕРНЕТА.

1.1 Необходимость создания систем тематического анализа.

1.2 Технологии, используемые для автоматического анализа интернетресурсов и управления доступом к ним.

1.2.1 Системы контентной фильтрации.

1.2.2 Программные средства анализа и категоризации текстов

1.3 Модели поиска и методы тематического анализа текстовой информации .

1.3.1 Модели поиска.

1.3.2 Методы тематического анализа

1.4 Выводы и постановка задачи исследования.

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМИЧЕСКИХ РЕШЕНИЙ ДЛЯ АНАЛИЗА И КАТЕГОРИЗАЦИИ ИНТЕРНЕТРЕСУРСОВ.
2.1 Модификация векторной модели представления интернетресурсов
2.1.1 Индексация интернетресурсов
2.1.2 Автоматическая категоризация интернетресурсов
2.1.3 Оценка качества категоризации.
2.2 Методика составления тематических профилей
2.3 Сбор и обработка контента интернетресурсов.
2.4 Выводы по главе 2.
ГЛАВА 3. ПРОЕКТИРОВАНИЕ СИСТЕМЫ ТЕМАТИЧЕСКОЙ КАТЕГОРИЗАЦИИ ИНТЕРНЕТРЕСУРСОВ.
3.1 Особенности архитектуры системы.
3.1.1 Требования для работы системы.
3.1.2 Структура системы.
3.2 Подсистема Поиск новых сайтов.
3.2.1 Общее описание функционирования подсистемы
3.2.2 Описание функций задач и связей между ними
3.3 Подсистема Ведение информационных ресурсов.
3.3.1 Общее описание функционирования подсистемы.
3.3.2 Описание функций задач и связей между ними.
3.4 Подсистема Обход сайтов
3.4.1 Общее описание функционирования подсистемы.
3.4.2 Описание функций задач и связей между ними.
3.5 Подсистема Категоризация сайтов
3.5.1 Общее описание функционирования подсистемы.
3.5.2 Описание функций задач и связей между ними.
3.6 Подсистема Контроль и настройка процедуры классификации
3.6.1 Общее описание функционирования подсистемы.
3.6.2 Описание функций задач и связей между ними.
3.7 Подсистема Обмен информацией с СКФ.
3.7.1 Общее описание функционирования подсистемы.
3.7.2 Описание функций задач и связей между ними.
3.8 Вебинтерфейс системы.
3.9 Выводы по главе 3.
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ И СОПОСТАВЛЕНИЕ РЕЗУЛЬТАТОВ.
4.1 Оценка качества категоризации.
4.2 Оценка использования трафика сети.
4.3 Практическое применение результатов исследования
4.4 Тенденции и перспективы развития разработанных решений
4.5 Выводы по главе 4.
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ


Приводится обзор и классификация современных средств тематической категоризации интернет-ресурсов в компьютерных сетях. В заключение главы формулируются задачи исследования. Во второй главе разрабатываются алгоритмические решения, обеспечивающие контроль и управление сетевыми ресурсами. Проводится модификация векторной модели представления интсрнет-ресурсов за счет введения степени соответствия между категорией и интернет-ресурсом и сравнением ее с величиной порогового значения категории. Рассматриваются вопросы решения задач индексации, автоматической категоризации интернет-ресурсов и оценки качества категоризации. Разрабатывается методика составления тематических профилей для контроля и управления исходящим и входящим трафиком сети. Приводится решение задач сбора и обработки контента интернет-ресурсов. В третьей главе рассматриваются программные и архитектурные решения проектирования системы тематической категоризации интернет-ресурсов, обеспечивающей контроль и управление сетевыми ресурсами, на основе применения модифицированной векторной модели представления интернет-ресурсов. Рассматривается описание функций и задач каждой подсистемы. Разрабатывается специализированный веб-интерфейс системы. В четвертом главе представлены результаты экспериментальных исследований функционирования разработанных технических решений для оценки качества категоризации на заданной коллекции текстовых интернет-ресурсов и экспериментальные исследования оценки использования сетевого трафика. Проводится практическое применение разрабатываемых алгоритмических, программных и архитектурных решений. Формулируются тенденции и перспективы развития системы тематической категоризации интернст-ресурсов. В заключении подводятся основные итоги диссертационной работы и перечисляются основные результаты. В приложениях 1 и 2 представлены акты об использовании результатов исследования и структура баз данных системы тематической категоризации интернет-ресурсов. ГЛАВА 1. В первой главе настоящей диссертации приведен анализ текущего состояния современных средств тематической категоризации, используемых для ограничения доступа к сетевым ресурсам и контроля исходящим и входящим трафиком сети, рассматриваются модели поиска и методы тематического анализа текстовой информации. Открытое информационное пространство содержит большое количество ресурсов различного содержания, и наряду с полезной информацией Интернет содержит ресурсы, объективно опасные для нравственного здоровья общества, оказывающие негативное воздействие в первую очередь на подрастающее поколение (алкоголь, наркотики, насилие и т. Также неконтролируемый доступ в Интернет оказывает негативное влияние и на организации, которые несут значительные расходы не связанные с рабочим процессом. Это происходит из-за того, что недобросовестные сотрудники используют Интернет в личных целях. Основные расходы таких организаций связаны с неэффективным использованием рабочего времени и затратами на оплату доступа в Интернет. Ниже представлены некоторые статистические данные анализа использования Интернета российскими пользователями за год []. Интернетом, в основном, пользуются либо дома - %, либо на работе -,2% (Рис. Рис. Место доступа к сети Интернет. Более % пользователей проводят в Интернете более 3-х часов в день, около % - от часа до трех и около % - до часа (Рис. Семь дней в неделю Интернетом пользуются более % пользователей, шесть дней -более %, пять дней — около % (Рис. Многие пользователи видели рекламную продукцию в Интернете, причем около половины из них посещали ресурсы рекламного характера по собственной воле (Рис. Исследовательское агентство International Data оценило, что от до % использования Интернета на работе не связано с работой, более % компаний имеют перерасход бюджета вследствие не связанного с работой использования Интернета. Около % служащих заявили, что они ищут работу в Интернете на работе, % резервируют отпуска, % регулярно делают покупки через Интернет в рабочее время, % служащих признались в том, что просматривают сайты сомнительного содержания и % играют в игры на работе.