Исследование и разработка статистических алгоритмов фильтрации сообщений в интерактивных ресурсах инфокоммуникационных сетей

• Автор: Мезенцева, Екатерина Михайловна
• Шифр специальности: 05.12.13
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Самара
• Количество страниц: 145 с. : ил.

ВВЕДЕНИЕ
ГЛАВА 1. ОРГАНИЗАЦИЯ ЗАЩИТЫ СЕТЕЙ
ТЕЛЕКОММУНИКАЦИЙ
1.1 Место сайтов в сетях телекоммуникаций
1.2 Причины размещения и специфика спам сообщений на сайтах
1.3 Способы распространения и цели размещения спама на сайтах
1.4 Негативное влияние размещения спам сообщений на сайтах
1.5 Способы защиты сайтов от спама
1.5.1 Законодательные меры регламентирующие защиту от спама
1.5.2 Технические меры защиты от спама
1.6 Анализ методов, моделей и существующих систем защиты сайта
от спама
1.7 Выводы и результаты
ГЛАВА 2. РАЗРАБОТКА КОНЦЕПЦИИ ФИЛЬТРАЦИИ СПАМ СООБЩЕНИЙ В КОМПЬЮТЕРНЫХ СЕТЯХ
2.1 Задача классификации сообщений
2.1.1 Способы представления сообщений для задачи классификации
2.1.2 Анализ алгоритмов классификации сообщений
2.2 Процесс фильтрации
2.2.1 Подготовка сообщения для обеспечения наилучшей фильтрации
2.3 Процесс принятия решения
2.3.1 Вычисление объединенных вероятностей признаков
2.3.2 Модуль принятия решения на основе теоремы Байеса
2.3.3 Модуль принятия решения на основе метода Фишера
2.4 Критерии оптимальности при классификации сообщений на
основе статистических методов
2.5 Критерии оценки качества работы обученного спам-фильтра
2.6 Выводы и результаты
ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СПАМ-ФИЛЬТРА
ДЛЯ ВЕБ САЙТОВ
3.1 Трехуровневая архитектура клиент-серверного приложения для фильтрации спама
3.2 Схема фильтрации спама на сайтах участниках системы
3.3 Концепция интеграции системы фильтрации с системой сайта
3.3.1 Описание связи фильтра с форумом
3.3.2 Структура базы данных форума
3.3.3 Изменения в исходном коде форума. Функция добавления нового сообщения
3.3.4 Изменения в исходном коде форума. Редактирование базы данных

3.3.5 Изменения в исходном коде форума. Модификация отображения сообщений
3.3.6 Интерфейс администратора форума
3.4 Процесс обучения
3.4.1 Алгоритм дообучения фильтра
3.4.2 Тестирование этапа обучения и работы фильтра на сообщение форума
3.5 Выводы и результаты
ГЛАВА 4. ИССЛЕДОВАНИЕ КАЧЕСТВА КЛАССИФИКАЦИИ СООБЩЕНИЙ И АПРОБАЦИЯ СИСТЕМЫ ФИЛЬТРАЦИИ СПАМА
4.1 Критерии при оценке работы алгоритмов фильтрации спама
4.2 Тестирование модуля распределения хи квадрат
4.3 Алгоритм обучения фильтра на тестовой выборке сообщений
4.4 Экспериментальное исследование степени корректности фильтрации сообщений, методами Байеса и Фишера, на тестовой
выборке сообщений
4.5 Экспериментальное исследование степени корректности фильтрации сообщений, методами Байеса и Фишера, на дампе базы данных форума СГАУ
4.6 Экспериментальное исследование степени корректности фильтрации сообщений, методами Байеса и Фишера, на форуме
ПГУТИ
4.7 Экспериментальное исследование степени корректности фильтрации сообщений, совмещенным фильтром
4.7 Оценка производительности
4.8 Выводы и результаты
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
ПРИЛОЖЕНИЕ 1 Свидетельства о государственной
регистрации программы для ЭВМ
ПРИЛОЖЕНИЕ 2 Акты внедрения

ВВЕДЕНИЕ
В современном обществе использование сети Интернет в качестве средства коммуникаций — широко распространенная практика. Уже не только электронная почта, но и блоги, социальные сети, форумы, Instant messaging (IM - службы мгновенных сообщений - ICQ, Skype и др.), являются привычными средствами общения.
По прогнозам Gartner, исследовательской и консалтинговой компании, специализирующейся в информационных технологиях, к 2014 году социальные сети станут основным средством электронного обмена в 20% организаций. В тоже время, росту популярности социальных сервисов будут способствовать повышение их безопасности, создание «белых» сообществ и толерантное отношение к использованию персональных учетных записей во время работы. В ходе дальнейшего развития принципиальные различия между электронной почтой и социальными сетями постепенно нивелируются, и почтовая служба перестанет играть главенствующую роль в осуществлении деловых операций [68].
Можно ожидать, что больше половины бизнес структур будут поддерживать связь друг с другом через подобие микроблогов, с улучшенной системой контроля и защиты информации.
Изначально данные виды коммуникаций оставались незамеченными спамерами, однако, с ростом их популярности ситуация коренным образом изменилась. На сегодняшний день по различным подсчетам уже примерно 10% IM сообщений и 17% комментариев в блогах, форумах и социальных сетях представляет собой спам [42]. Публичные форумы, сайты Википедии, социальные сети и блоги, уже давно стали мишенями для размещения не относящихся к теме форума сообщений или рекламы различной продукции. Заинтересованность спамеров в новых средствах коммуникации объясняется не только их растущей популярностью и увеличивающейся базой пользователей, но и тем, что средства борьбы со спамом в программах мгновенного общения и блогах находятся в настоящее время в начальной стадии развития. Практически не существует

Эти модули обладают серьезными недостатками: либо они
распространяются по принципу «как есть» без статистической базы, что не дает возможности сравнивать новые сообщения с уже проверенными аналогами; либо являются онлайн-сервисами в России, но ориентированы главным образом на англоязычные словари. В настоящее время нет универсальных решений, позволяющих производить фильтрацию на русскоязычных сайтах. К сожалению, подобные системы детектирования спама показывают низкую эффективность в случае, если спам распространяется вручную [15].
Таким образом, можно сделать следующий вывод: в борьбе со спамом, на интерактивных сайтах предпочтительно использовать профессиональные программные продукты для фильтрации. Они должны обладать следующими свойствами:
- использование нескольких методов фильтрации, как формальных, так и лингвистических (объединенных единым интеллектуальным решающим центром);
- высокой скоростью работы и точностью метода;
- простотой установки и использования (фильтрация "под ключ").
1.7 Выводы и результаты
В первой главе рассмотрены факторы, которые необходимо учитывать при проектировании фильтров, защищающих пользователей от нежелательных сообщений. В ходе рассмотрения данного вопроса была описана организация защиты телекоммуникационных сетей, точнее сегмента сети - сайтов организаций. Для этого проводились следующие теоретические исследования:
1. Определено занимаемое место сайтов в компьютерных сетях.
2. Рассмотрены причины размещения и специфики спам сообщений на сайтах.
3. Проведен анализ способов распространения и целей размещения спама на сайтах.