Байесовские методы опорных векторов для обучения распознаванию образов с управляемой селективностью отбора признаков

• Автор: Татарчук, Александр Игоревич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Москва
• Количество страниц: 125 с. : ил.

Содержание
Введение
1 Проблема селективного комбинирования признаков в линейных методах обучения распознаванию образов
1.1 Линейный подход к обучению распознаванию двух классов
объектов
1.1.1 Разделяющая гиперплоскость в линейном пространстве признаков.
1.1.2 Концепция оптимальной разделяющей гиперплоскости для обучающей совокупности: Метод опорных векторов
1.1.3 Вероятностная интерпретация метода опорных векторов
1.2 Проблема переобучения при обучении в признаковом
пространстве большой размерности
1.2.1 Природа переобучения в линейном пространстве признаков объектов
1.2.2 Существующие способы отбора признаков в методе опорных векторов
1.2.2.1 1 -norm SVM (Lasso SVM)
1.2.2.2 Doubly Regularized SVM (Elastic Net SVM)
1.2.2.3 Elastic SCAD SVM
1.2.3 Свойства методов отбора признаков и недостаточность существующих подходов
1.2.3.1 Механизм селективности отбора признаков
1.2.3.2 Эффект группировки признаков
1.3 Предлагаемая концепция: Байесовский подход к одновременному
построению разделяющей гиперплоскости и выбору подмножества релевантных признаков
1.4 Основные задачи исследования
2 Байесовский подход к поиску оптимальной разделяющей гиперплоскости
2.1 Параметрическое семейство пары плотностей распределения,
определяемое гиперплоскостью
2.2 Априорное распределение параметров гиперплоскости
2.3 Общий байесовский критерий обучения для параметрического
семейства пары плотностей распределения
2.4 Апостериорные вероятности классов объектов

2.5 Частные априорные модели разделяющей гиперплоскости
2.5.1 Классический метод опорных векторов: Частный случай нормальных априорных распределений компонент направляющего вектора с одинаковыми дисперсиями
2.5.2 Известные методы 1-norm SVM (Lasso SVM) и Doubly Regularized SVM (Elastic Net SVM)
Байесовский принцип управления селективностью комбинирования признаков
3.1 Обобщение метода опорных векторов: Частный случай нормальных априорных распределений компонент направляющего вектора с разными известными дисперсиями
3.2 Метод релевантных признаков с регулируемой селективностью
3.2.1 Параметрическое семейство априорных нормальных-гамма распределений компонент направляющего вектора со случайными дисперсиями
3.2.2 Критерий обучения
3.2.3 Параметры гамма распределения: Управление селективностью
3.2.4 Эквивалентный критерий обучения
3.2.5 Алгоритм обучения
3.3 Метод опорных признаков с регулируемой селективностью
3.3.1 Параметрическое семейство составных априорных распределений для компонент направляющего вектора
3.3.2 Критерий обучения
3.3.3 Двойственная задача обучения
3.3.4 Итоговое решающее правило и опорные признаки
3.3.5 Зависимость множества опорных признаков от параметра селективности критерия обучения
3.4 Теоретическое исследование механизма селективности и эффекта группировки методов релевантных и опорных признаков
3.4.1 Механизм селективности отбора признаков
3.4.2 Эффект группировки признаков
3.5 Выбор оптимального уровня селективности: Метод скользящего контроля
Экспериментальное исследование методов релевантных и опорных признаков с управляемой селективностью

4.1 Экспериментальное исследование на модельных данных
4.1.1 Эксперимент А: Структура модельных данных и результаты
4.1.2 Эксперимент В: Структура модельных данных и результаты
4.1.3 Эксперимент С: Структура модельных данных и результаты
4.1.4 Эксперимент О: Структура модельных данных и результаты
4.2 Экспериментальное исследование на данных прикладной задачи..
4.3 Обсуждение результатов экспериментов
Заключение
Приложение: доказательства теорем
Теоремы главы
Доказательство теоремы
Доказательство теоремы
Теоремы главы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство леммы
Доказательство леммы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Доказательство теоремы
Литература

1.2.3.2 Эффект группировки признаков
В работе [15] в качестве основного недостатка метода 1-norm SVM (15) указывается тот факт, что метод полностью игнорирует при отборе признаков их взаимную линейную зависимость (попарную корреляцию), оставляя в решении только лишь небольшое (не больше количества объектов в обучающей выборке) подмножество признаков, полностью подавляя все остальные. Такое свойство метода обучения является неприемлемым для ряда прикладных задач, в частности, при анализе экспрессии генов с использованием микрочипов (microarray analysis), поскольку уровни экспрессии генов, которые отвечают за один и тот же биологический механизм, как правило, сильно линейно зависимы, и все такие гены вносят свой вклад в биологический процесс. Поэтому в работе [15] идеальным назван такой метод, который бы эффективно подавлял незначимые для распознавания гены и автоматически включал бы в итоговое решение все взаимосвязанные. Предлагаемый в работе [15] метод DrSVM (19), в отличие от 1-norm SVM, отчасти обладает желаемым свойством, которое выражено в виде утверждения, что чем больше корреляция р ! между признаками с индексами j и I, тем меньше будут отличаться В ИТОГОВОМ решении соответствующие коэффициенты cij и а, направляющего вектора:
Здесь N - размер обучающей выборки, Х2 - структурный параметр регуляризации критерия обучения (18) при квадратичном штрафе. Такое свойство метода было названо эффектом группировки или grouping effect, как в оригинальной публикации.
Заметим, что свойство группировки одинаково работает как для полезных генов или, в общем случае, признаков, так и для признаков, которые не несут никакой информации для решения задачи, но тоже участвуют в процессе обучения. Т.е. метод DrSVM будет «стараться» либо удалять все такие