Алгоритм контентной фильтрации спама на базе совмещения метода опорных векторов и нейронных сетей

• Автор: Мироненко, Антон Николаевич
• Шифр специальности: 05.13.19
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Омск
• Количество страниц: 96 с. : ил.

Оглавление
Введение

Глава 1. Алгоритмы фильтрации почтовых сообщений.

1.1 Электронная почта и нежелательные рассылки

1.2 Характеристики спама.

1.3 Классификация спамсообщений

1.4 Спам без вложений.

1.5 Спам со вложением.

1.6 Анализ уязвимости различных учетных записей электронной почты.

1.7 Массовые методы рассылки

1.8 Ущерб, наносимый спамом.

1.9 Контрмеры.
1. Вывод
Глава 2. Смешанный алгоритм фильтрации основанный на методе опорных векторов и нейронной сети.
2.1 Метод опорных векторов
2.3 Обработка обучающего множества
2.4 Алгоритм таксономии БОНЫ,.
2.5 Результаты обработки обучающего набора
2.6 Вывод.
Глава 3. Спамфильтр на основе двухслойного персептрона
3.1 Формальные нейроны и псрсептрон на их основе.
3.2 Формирование двухслойного персептрона.
3.3 Результаты тестирования.
3.4 Вывод
Глава 4. Спамфильтр на основе персептрона Розснблатта и саморганизующихся карт Кохонена
4.1 Персептрон Розенблата.
4.2 Самоорганизующиеся карты Кохонена
4.3 Результаты тестирования
4.4 Сравнительное тестирование.
4.5 Вывод
Заключение.
Основные публикации по теме диссертации
Библиографический список.
Введение
Актуальность


Фильтры, построенные с использованием технологий искусственного интеллекта [,], требуют обучения только на начальном этапе, дообучаясь в дальнейшем самостоятельно, существенно снижая нафузку на пользователя. Максимальный результат, достигнутый байесовскими фильтрами, на сегодняшний день составляет порядка % отфильтрованного спама []. Для повышения эффективности байесовского фильтра необходимо учитывать семантические связи между термами, что требует привлечения методов семантического анализа, существенно повышает нагрузку на систему и увеличивает время работы самого фильтра при незначительном повышении эффективности фильтрации. Другим подходом, получающим в последнее время все большее распространение, является использование нейросетей []. Преимущество нейросетевого подхода перед байесовским состоит в том, что не делается никаких предварительных предположений о характере нежелательных сообщений, а семантические связи учитываются автоматически. Наибольшее количество разработок связано с построением фильтра на основе многослойного персептрона. Однако такой подход встречается с рядом трудностей, связанных с выбором пороговых значений, которые задаются произвольно в некотором интервале. Эффективность фильтра существенно зависит от их выбора. При этом данная величина требует постоянной подстройки под изменяющийся характер нежелательных сообщений. Также малоисследованным остается вопрос использования других нейросетей, хорошо зарекомендовавших себя в задачах распознавания образов, частным случаем которых является фильтрация спама. Таким образом, развитие нейросетевого подхода, применительно к фильтрации нежелательных сообщений, является актуальной задачей. Предметом исследования диссертационной работы является эффективность фильтрации спама в потоке почтовых сообщений при использовании нейросетевых технологий. Объектом исследования являются фильтры нежелательных сообщений, использующие нейросетевые технологии. Целью диссертационной работы повышение эффективности фильтрации нежелательных сообщений в потоке электронной почты с использованием интеллектуальных систем. Разработка смешанного алгоритма на основе совмещения метода опорных векторов и нейросетевого подхода. Реализация и апробация смешанного спам-фильтра на основе двухслойного персептрона. Реализация и апробация смешанного спам-фильтра на основе персептрона Розенблатта. Реализация и апробация смешанного спам-фильгра на основе самоорганизующихся карт Кохонена. Методы исследования. В диссертационной работе использованы методы построения нейронных сетей, алгоритмы кластеризации и методы системного анализа. Научная новизна. Впервые совместно использованы метод опорных векторов и нейросети для построения спам-фильтра. Розенблатта. Кохонена. Практическая значимость работы заключается в возможности разработки прикладных систем индивидуальной защиты от нежелательной корреспонденции для персональных компьютеров. Основные положения, выносимые на защиту. Алгоритм фильтрации спам-сообщений на основе совместного использования алгоритма таксономии и нейросетевого подхода. ЕСЖЕЬ и двухслойного персептрона. ЕСЖЕЬ и персептрона Розенблатта. ЕОКЕЬ и самоорганизующихся карт Кохонена. Апробация работы. Основные положения диссертационной работы представлялись и обсуждались на следующих конференциях: «Актуальные проблемы безопасности информационных технологий». Красноярск, , ), «Информационные технологии и автоматизация управления» (Омск, , ), а также были внедрены в деятельность трех организаций. Публикации. Результаты диссертационной работы были представлены в 9 публикациях: в 6 научных статьях, в том числе 3 статьи - в журналах из списка периодических изданий, рекомендованных ВАК. Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа содержит страниц основного текста, рисунков и таблиц. Список литературы включает 0 наименований.