Многоагентная автоматизированная система адаптивной фильтрации потоков текстовой информации

• Автор: Цыганов, Илья Германович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Москва
• Количество страниц: 227 с. : ил.

ГЛАВА 1. КЛАССИФИКАЦИЯ И АНАЛИЗ СУЩЕСТВУЮЩИХ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ФИЛЬТРАЦИИ НЕЗАПРАШИВАЕМОЙ РАССЫЛКИ. ТРЕБОВАНИЯ К ИХ СОСТАВУ И ФУНКЦИОНАЛЬНЫМ ВОЗМОЖНОСТЯМ
1.1. Исследование и анализ явления незапрашиваемой рассылки, постановка задачи фильтрации незапрашиваемой рассылки

1.1.1. Понятие незапрашиваемой рассылки

1.1.2. Причины появления и широкого распространения явлений незапрашиваемой рассылки

1.1.3. Характеристика ущерба от незапрашиваемой рассылки

1.1.4. Анализ процесса распространения незапрашиваемой рассылки

1.1.5. Особенности задачи фильтрации незапрашиваемой рассылки, постановка задачи фильтрации

1.2. Классификация и анализ возможностей существующих АСФ НР

1.2.1. Классификация АСФ НР по архитектуре системы

1.2.2. Классификация АСФ НР по способам реализации функций фильтрации

1.2.3. Классификация АСФ НР по способу реализации функций выявления ошибок фильтрации
1.2.4. Классификация АСФ НР по способу реализации функций настройки фильтров
1.2.5. Классификация методов адаптивной фильтрации незапрашиваемой рассылки по контекстным признакам
1.3. Требования к составу и функциональным возможностям автоматизированной системы адаптивной фильтрации незапрашиваемой рассылки
Выводы по главе 1
ГЛАВА 2. ФУНКЦИОНАЛЬНОЕ ПОСТРОЕНИЕ И МАТЕМАТИЧЕСКИЙ АППАРАТ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ АДАПТИВНОЙ ФИЛЬТРАЦИИ НЕЗАПРАШИВАЕМОЙ РАССЫЛКИ
2.1. Общие принципы построения многоагентных автоматизированных систем адаптивной фильтрации незапрашиваемой рассылки
2.1.1. Многоагентная архитектура АСАФ НР
2.1.2. Принципы обмена информацией между агентами АСАФ НР
2.1.3. Принципы взаимодействия между равноправными агентами
2.1.4. Принципы взаимодействия в группах агентов
2.1.5. Общие принципы построения агентов АСАФ НР
2.2. Математическая модель подсистемы фильтрации
2.3. Формирование обучающих и тестовых выборок
2.4. Контекстная фильтрация
2.4.1. Математическая модель пространства признаков
2.4.2. Математическая модель категоризации текстовых сообщений
2.5. Коллективная фильтрация
2.6. Математические модели оценки качества системы фильтрации
Выводы по главе 2
ГЛАВА 3. АППАРАТНО-ПРОГРАММНЫЙ КОМПЛЕКС АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ АДАПТИВНОЙ ФИЛЬТРАЦИИ НЕЗАПРАШИВАЕМОЙ РАССЫЛКИ
3.1. Особенности функционирования, требования к проектированию и реализации многоагентной автоматизированной системы адаптивной фильтрации незапрашиваемой рассылки
3.1.1. Общесистемные требования креализации АСАФ НР
3.1.2. Требования к реализации отдельных агентов
3.1.3. Требование к процессам взаимодействия между агентами
3.2. Проектирование программных компонентов АСАФ НР
3.3. Аппаратно-программное обеспечение
3.3.1. Системное программное обеспечение
3.3.2. Прикладное программное обеспечение
3.3.3. Оценка производительности и требования к аппаратному обеспечению АСАФ НР
3.3.4. Аппаратное обеспечение АСАФ HP
3.4. Проектирование размещения программных компонентов АСАФ HP
3.5. Методическое обеспечение
Выводы по главе 3
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ АДАПТИВНОЙ ФИЛЬТРАЦИИ НЕЗАПРАШИВАЕМОЙ РАССЫЛКИ
4.1. Цели и задачи экспериментальных исследований
4.2. Методика экспериментальных исследований
4.3. План экспериментальных исследований
4.4. Состав экспериментального стенда
4.5. Выбор массива сообщений
4.6. Исследование методов формирования пространства признаков
4.6.1. Исследование способов формирования предварительного пространства признаков
4.6.2. Исследование методов сокращения размерности пространства признаков
4.6.3. Исследование методов выбора комплексных признаков
4.7. Исследование методов обучения нейронной сети
4.7.1. Исследование настройки одного нейрона с использованием различных функционалов вторичной оптимизации
4.7.2. Исследование числа итераций
4.7.3. Исследование выбора шага
4.7.4. Исследование выбора числа нейронов первого слоя
4.8. Исследование порогов
4.9. Исследование методов совместной фильтрации
4.10. Оценка результатов экспериментального исследования
Выводы по главе 4
ВЫВОДЫ
Список литературы
Приложение А

рассылки. В рассматриваемых системах создается база данных реквизитов фирм, пользующихся услугами РНР. Если во время фильтрации в тексте сообщения обнаруживаются имеющиеся в базе данных реквизиты, то сообщение автоматически относится к классу СНР. Все прочие сообщения считаются ЛПС.
Такой подход используется в системе Brightmail [22,38].
Достоинством этого подхода является то, что он позволяет эффективно выявлять СНР по признаку рекламодателя вне зависимости от текстовой части сообщения и способа его распространения. Однако для выполнения обновления фильтров системы требуется постоянное участие человека, что вносит задержки в контур их настройки.
В системах сЬильтоаиии по эвристическим правилам фильтрация осуществляется с помощью выявления в тексте сообщения характерных для СНР слов и словосочетаний. Фильтрация осуществляется с помощью системы логических правил (булевы операции конъюнкции и дизъюнкции), описывающих вхождение ключевых слов в тексты СНР.
Выбор характерных для СНР слов и словосочетаний, а также формирование правил осуществляется вручную экспертами на основании их знаний и опыта. На рис. 1.17 представлен типовой текст сообщения СНР, где выделены некоторые ключевые слова, участвующие в формировании правил
Тема: Уникальный шанс [стать богатый
Дата: Sat, 12 Apr 2003 1 8:55:21 +0400
Кому: undisdosed+ecipients:;
Здравствуйте, разрешите позаимствовать 2-3 минуты Вашего времени? Это не СПАМ1; яІничегоІВамІ не навязывак), просто прочтите и решите сами.
Меня зовут Максим. У меня высшее образование и я уже не молод.
Прошу прощения если данное обращение отняло у вас время!
Данная рассылка произведена в соответствии с ч. 4 ст. 29 Конституции РФ
электронный адрес[получен из открытых источников. |
ДАННАЯ| РАССЫЛКА ЯВЛЯЕТСЯ РАЗОВОЙ! И НЕ НАВЯЗЫВАЕТ)ПЛАТНЫХ УСЛУП (дублирование возможно только в силу технических сбоев)
Максим.
Рис. 1.17. Пример выбора ключевых слов в типовом СНР