Организация центра учета, классификации и мониторинга сетевого трафика

• Автор: Коноплев, Вениамин Викторович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2001
• Место защиты: Москва
• Количество страниц: 108 с. : ил

Оглавление

ОРГАНИЗАЦИЯ ЦЕНТРА УЧЕТА, КЛАССИФИКАЦИИ И МОНИТОРИНГА СЕТЕВОГО ТРАФИКА

Оглавление

Структура и обозначения

Введение

Глава 1. Проблемы сбора и обработки данных сетевого трафика

1.1. Проблемы сбора статистики сетевого трафика.

1.2. Проблемы обработки и представления данных

1.3. Выводы.

Глава 2. Обзор технологий, методов и стандартов

2.1. Общие принципы.

2.1.1. Обобщенная постановка задачи.
2.1.2. Архитектура сети и особенности детализации трафика.
2.1.3. Технологический процесс сбора детализированной статистики сетевого трафика
2.1.4. Формирование информационных записей в различных системах учета и мониторинга сетевого трафика
2.1.5. Пространственное и временное разрешение системы учета сетевого трафика.
2.2. Агрегирование и храпение данных сетевого трафика выбор
стратегии.
2.3. Архитектура системы учета сетевого трафика.
2.4. Подсчет сетевого трафика по потокам.
2.4.1. Понятие сетевого потока
2.4.2. Учет сетевых соединений I.
2.4.3. Применение флага состояния для уменьшения размера
таблицы сетевых потоков
2.4.4. Применение флага состояния для уменьшения объема
передаваемой информации
2.5. Архитектура учета сетевого трафика по потокам и ее
реализация в системе
2.5.1. Особенности архитектуры
2.5.2. Реализация.
2.6. Применение технологии для сбора данных сетевого
трафика
2.6.1. Общие принципы.
2.6.2. Формирование ключа записи потока.
2.6.3. Однозначность маршрута пакетов в потоке
2.6.4. Форматы записей
2.7. Сравнительный анализ методов сбора первичной
статистики.
2.7Л. Два способа получения первичной статистики.
2.7.2. Вычислительные затраты.
2.7.3. Диапазон охвата
2.7.4. Эффективность, надежность и безопасность передачи
данных между измерителем и коллектором.
2.7.5. Масштабируемость.
2.8. Обобщение процесса обработки данных сетевого трафика
2.9. Пакетные фильтры для сбора данных сетевого трафика .
2 Планировщики процессов в ОС IX и сложности
реализации задач режима реального времени
2 Выводы
Глава 3. Организация системы
ЗА. Общая архитектура системы.
3.2. Информационная модель представления данных сетевого
трафика
3.2.1. Особенности информационной модели
3.2.2. Классификация информационных записей.
3.2.3. Представление информации в базе данных.
3.3. Подсистема первичной обработки данных сетевого
трафика
3.3.1. Компоненты системы.
3.3.2. Алгоритм работы монитора задач.
3.3.3. Процесс загрузки правил и сбора данных.
3.3.4. Агрегирование пакетных заголовков в первичные
информационные записи
3.3.5. Организация набора правил первичной обработки
3.4. Модуль обнаружения и обработки дублированных пакетов .
3.4.1. Предпосылки
3.4.2. Описание работы фильтра
3.4.3. Ограничения модели.
3.4.4. Механизм упорядочения точек перехвата
3.4.5. Архитектура и алгоритм.
3.4.6. Выбор параметров и оценка размеров буфера задержки
3.4.7. Реализация.
5.5. Модуль вторичной обработки данных сетевого трафика
3.5.1. Загрузка и начальное агрегирование данных.
3.5.2. Классификация по удаленному региону.
3.5.3. Удаление устаревшей информации
3.6. Интерфейс для доступа к данным.
3.7. Группы пользователей и авторизация доступа.
3.8. Выводы.
Глава 4. Реализация системы в сети КОСМОС,
результаты испытаний.
4.1. Реализация системы.
4.2. Используемая платформа и типовые данные по загрузке
4.3. Пример локализации источников трафика на соединении
1К1М91Х
4.4. Выводы.
Заключение
Основные результаты работы.
Научная новизна.
Практическая и научная полезность результатов.
Публикации.
Список литературы


Проблемы сбора статистики сетевого трафика. Выводы. Глава 2. Общие принципы. Обобщенная постановка задачи. Архитектура сети и особенности детализации трафика. Пространственное и временное разрешение системы учета сетевого трафика. Архитектура системы учета сетевого трафика. Подсчет сетевого трафика по потокам. Учет сетевых соединений TCP/IP. Реализация. Общие принципы. Формирование ключа записи потока. Л. Два способа получения первичной статистики. Вычислительные затраты. Масштабируемость. Пакетные фильтры для сбора данных сетевого трафика . Глава 3. ЗА. Общая архитектура системы. Классификация информационных записей. Представление информации в базе данных. Компоненты системы. Алгоритм работы монитора задач. Процесс загрузки правил и сбора данных. Модуль обнаружения и обработки дублированных пакетов . Ограничения модели. Архитектура и алгоритм. Реализация. Загрузка и начальное агрегирование данных. Классификация по удаленному региону. Интерфейс для доступа к данным. Группы пользователей и авторизация доступа. Выводы. Глава 4. Реализация системы. Выводы. Основные результаты работы. Научная новизна. Практическая и научная полезность результатов. Публикации. Список литературы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Введение и заключение имеют двухуровневую вложенность без нумерации. Новые термины и понятия, вводимые автором или специфичные для обсуждаемого предмета, при первом упоминании выделяются жирным шрифтом. Таблиицы и рисунки имеют сквозную нумерацию в пределах главы как: 1-2, где 1 - номер главы, а 2 - внутренний номер. Для введения номер главы примается равным 0. Для формул, программных листингов и т. Corier New. Для центра учета, классификации и мониторинга сетевого трафика приняты сокращенные обозначения «центр УКМ» или «система УКМ». Система мониторинга является неотъемлемой частью любой достаточно сложной телекоммуникационной сети. Как правило, область задач не ограничивается мониторингом состояния сетевых устройств, и возникает необходимость анализа потоков данных. Насколько эффективна политика маршрутизации с другими сетями? Насколько корректно функционирует сеть? Кто, как и насколько использует ресурсы сети? Какова динамика роста загрузки? Каковы причины возникающих перегрузок? На все эти вопросы позволяет ответить учет и анализ сетевого трафика. Спектр представленных вопросов относится скорее к анализу трафика глобальных вычислительных сетей (WAN). При исследовании локальных вычислительных сетей (LAN), как правило, возникают вопросы другого характера (не рассматриваемые в данной работе): каковы задержка и процент потерь пакетов на сегменте и чем это обусловлено? Данная работа связана со сбором и обработкой потоков данных в сети, подключенной к Интернет. Акцент в ней сделан на исследование внешнего, глобального трафика. ИБЭМЕТ (первая опорная научная магистраль Интернет). По мере подключения все новых и новых региональных сетей магистраль быстро становилась перегруженной. Если в году пропускная способность каналов между основными узлами магистрали составляла КЬ/з, то к году это были уже линии Т1 (1,5МЬ/э), а к году - ТЗ (МЬ/в). Быстрый рост загрузки каналов магистрали вызвал интерес к исследованию структуры сетевого трафика ([],[]). Интерес вызывала и сама динамика роста сетевого трафика на магистралях ([]), позволяющая проводить долгосрочное планирование сетей передачи данных. В работе [] проведен анализ данного факта для трафика в локальных сетях Е^егпе! Эффект самоподобия может найти свое применение как при проектировании телекоммуникационного оборудования, в алгоритмах обработки очередей, так и в системах сжатия данных сетевого трафика (например, вейвлетное преобразование). Тогда же, в начале -х годов, резко вырос интерес к системам учета сетевого трафика, вызваный тенденциями к коммерциализации сети Интернет. Стали появлятся предложения с проектами стандартизации архитектуры подобных систем ([], []). На данный момент разработаны эффективные методики сбора данных сетевого трафика ([],[]).