Методы и алгоритмы разведочного анализа данных, основанные на робастных модификациях боксплотов

• Автор: Андрэа Клитон
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Санкт-Петербург
• Количество страниц: 164 с. : ил.

Содержание
Введение

1 Обзор литературы

1.1 Одномерные боксплоты

1.1.1 Классический боксплот Тьюки

1.1.2 Модификации одномерных боксплотов

1.2 Двумерные боксплоты

1.2.1 Ва§р1о

1.2.2 Ііагщеітсіег боксплот

1.2.3 Ромбовидный двумерный боксплот

1.2.4 Кеіркй и <Зие1ркИ:

1.2.5 Двумерный боксплот гапі
1.3 Аномалии в данных и методы их выявления
1.3.1 Типы аномалий
1.3.2 Методы отбраковки аномалий в одномерных данных
1.3.3 Методы отбраковки аномалий в многомерных данных
1.4 Сравнение методов отбраковки аномальных данных
2 Классические критерии качества отбраковки и Н-мера
2.1 Классические критерии сравнения методов отбраковки
2.1.1 Статистика результатов классификации
2.1.2 Сравнение классификаторов
2.2 Н-мера
2.3 Связь Н-меры с традиционными характеристиками качества
классификации
2.4 Выводы

3 Одномерные робастные модификации боксплотов иа основе высокоэффективных оценок масштаба и обнаружение аномалий
3.1 Вводные замечания
3.2 Робастные оценки масштаба
3.3 Методы отбраковки по критерию Граббса
3.3.1 Метод Граббса и робастный г-показатель
3.3.2 Правило отбраковки «Л сигма»
3.4 Робастные боксплоты
3.5 Сравнительный анализ качества обнаружения выбросов в асимметричных моделях распределения данных
3.6 Засорения типа «всплеск» и методы их выявления
3.6.1 Выбор метода решения
3.6.2 Основные результаты
3.7 Выводы
4 Двумерные боксплоты
4.1 РС}п — двумерный боксплот, основанный на /^„-оценках масштаба и коэффициента корреляции
4.2 Подбор параметров
4.3 Основные результаты
4.3.1 Воспроизведение эллиптической формы
4.3.2 Сравнительный анализ качества отбраковки аномалий в данных для РС)п-боксплота и bagplot-a
4.4 Визуализация двумерного боксплота
4.5 Выводы
5 Методы отбраковки многомерных данных
5.1 Статистические методы отбраковки аномалий в многомерных
данных
5.1.1 Метод Гаррета
5.1.2 РСОи!
5.1.3 Методы интеллектуального анализа данных (сЫа-ттпщ)
5.2 Выбор метода решения
5.2.1 Метод проекций

5.2.2 Итеративный метод
5.3 Основные результаты
5.4 Выводы
6 Обнаружение аномалий в реальных данных с помощью скользящих боксплотов
6.1 Вводные замечания
6.2 Постановка задачи
6.3 Предварительная обработка данных
6.4 Скользящие боксплоты
6.5 Реализация алгоритма выявления точек разладки на R
6.6 Основные результаты
6.7 Выводы
Заключение
Список рисунков
Список таблиц
Литература
А Результаты моделирования
А.0.1 Вычисление оптимальных границ и Н-меры при засорении типа «сдвиг»
А.0.2 Экспериментальные результаты оптимальных по Н-мере
коэффициентов внешних границ боксплота Тьюки
А.0.3 Экспериментальные результаты оптимальных по Н-мере
коэффициентов внешних границ MAD-боксплота
А.0.4 Экспериментальные результаты оптимальных по Н-мере
коэффициентов внешних границ FQn-боксплота
А.0.5 Экспериментальные значения Н-меры для модели засорения Тьюки-Хьюбера одномерных данных. Степень засорения е = 0.05. Размер выборки п —
А.0.6 Результаты сравнения оценок моды

1.3.3 Методы отбраковки аномалий в многомерных данных
Статистические методы для многомерной отбраковки данных обычно определяют значения, располагающиеся далеко от центра распределения данных. Поэтому, как следствие, используют различные меры для оценки расстояний. Многомерные выбросы довольно редко характеризуются большими и малыми значениями по одной из координатных осей. В подтверждение этому Рис. 1.14 демонстрирует пример двумерной выборки, как частного случая многомерных данных.
Рис. 1.14: Двумерная выборка с одним выбросом.
Очевидно, что точка, являющаяся выбросом, при одномерном анализе проекций никак не может быть определена как выброс. Определить выбросы визуально для размерностей больше 2 тоже составляет значительную проблему. По этой причине, задача нахождения оптимального метода для обнаружения выбросов в многомерных выборках является очень актуальной.
Методы отбраковки аномалий в многомерных данных с помощью расстояния Махаланобиса
Аналогично методам отбраковки аномалий в одномерных данных, основная идея состоит в вычислении расстояния каждой многомерной точки от значения выборочного параметра положения. В результате строится новая одномерная выборка, для которой можно применить методы обнаружения выбросов для одномерного случая.
Классической процедурой диагностики выбросов является метод, предложенный в [25]. Метод основан на использовании расстояний Махаланобиса: