Влияние устойчивости алгоритмов классификации на точность их работы

• Автор: Ветров, Дмитрий Петрович
• Шифр специальности: 01.01.09
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Москва
• Количество страниц: 138 с. : ил.

0 Введение б

1 Выбор модели с помощью принципа устойчивости

1.1 Проблема выбора модели

1.2 Общие методы выбора модели

1.2.1 Структурная минимизация риска

1.2.2 Принцип минимальной длины описания

1.2.3 Байесовское обучение

1.3 Принцип устойчивости

1.4 Метод релевантных векторов

1.5 Ядровой индекс пригодности

1.6 Результаты экспериментов

1.6.1 Модельная задача .'
1.6.2 Реальные данные
1.7 Обсуждение и выводы
2 Выпуклая стабилизация коллективов алгоритмов
2.1 Особенности построения коллективных решений
2.2 Методы получения коллективных решений
2.2.1 Общие положения
2.2.2 Комитетные методы
2.2.3 Методы выбора классификатора
2.3 Выпуклый стабилизатор
2.3.1 Неустойчивость классификаторов

2.3.2 Стабилизация корректных алгоритмов
2.3.3 Стабилизация некорректных алгоритмов
2.4 Выпуклая кластерная стабилизация
2.5 Результаты экспериментов
2.6 Выводы
3 Устойчивость ансамблей кластеризаторов
3.1 Специфика задачи кластерного анализа
3.2 Методы оценки устойчивости и построения ансамблей
алгоритмов кластерного анализа
3.2.1 Методы построения ансамблей кластеризаторов
3.2.2 Устойчивость методов кластеризации
3.2.3 Использование устойчивости для определения числа
кластеров
3.3 Описание эксперимента
3.3.1 Устойчивость ансамблей относительно исходных
алгоритмов кластеризации
3.3.2 Связь между устойчивостью ансамбля и его точностью
3.3.3 Использование устойчивости ансамблей для определения числа кластеров
3.4 Выводы
4 Заключение

Список обозначений
d размерность признакового пространства I количество классов в задаче классификации Ci Q классы в задаче классификации
Dtrain = t) обучающая выборка (признаковые описания и значения
неизвестной компоненты)
Dvalid = (у, и) контрольная выборка
Dtest тестовая выборка
т объем обучающей выборки
q объем контрольной выборки
х совокупность признаковых описаний объектов обучающей выборки (xi,ti) г-ый объект обучающей выборки х, признаковое описание i-oro объекта обучающей выборки t{ значение неизвестной компоненты i-ого объекта обучающей выборки хI значение признака j объекта (хг-, U)
w совокупность параметров алгоритма, настраивающихся в ходе обучения Wj значение j-ого параметра
а совокупность мета-параметров модели, подлежащих определению при выборе модели

были сгенерированы 5000 объектов с тем же распределением. Ошибка на столь большой тестовой выборке может рассматриваться как ошибка на генеральной совокупности. Важность выбора правильного значения параметра ширины проиллюстрирована на рис. 6, где приведены ошибки на обучении и на тестовой выборке для разных его значений. Для того, чтобы проверить качество предлагаемого алгоритма, результаты были сравнены с популярным альтернативным методом - кросс-проверкой (использовалась 5-fold cross-validation). На рис. 6 представлены ошибка на кросс-валидации и значение ядровой пригодности (вычисленное описанным выше способом). Легко видеть, что ядровая функция, выбранная на основе максимума ядровой пригодности, лучше подходит для данной задачи (хотя на ней и не достигается минимум тестовой ошибки). Причина относительной неудачи кросс-проверки заключается в том, что несмотря на свою несмещенность [106], оценка, получаемая с помощью процедуры кросс-проверки может иметь большую дисперсию, особенно для малых выборок. Оба метода - и кросспроверка, и показатель ядровой пригодности используют лишь обучающую выборку, которая, вообще говоря, отличается от генеральной совокупности в силу своей конечности. При этом в отличие от кросс-проверки для подсчета ядровой пригодности требуется лишь один цикл обучения. Таким образом, предлагаемый метод определения наилучшей ядровой функции работает во много раз быстрее.
1.6.2 Реальные данные.
Для сравнения качества различных методов определения ядровой функции было проведено 180 экспериментов по ее подбору на основе 9 задач из