Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций

• Автор: Саутин, Александр Сергеевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Новосибирск
• Количество страниц: 177 с. : ил.

СОДЕРЖАНИЕ
Введение.

ГЛАВА 1. ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ.

1.1. Задача построения математической модели явления.

1.2. Теория машинного обучения.

1.2.1. Машинное обучение и связанные с ним проблемы.

1.2.2. Принцип минимизации структурного риска.

1.3. Алгоритм опорных векторов как метод построения нспарамстрической регрессии

1.3.1. Алгоритм опорных векторов

1.3.2. Двойственная задача БУМ

1.3.3. Вычисление параметра смещения Ь

1.4. Разреженность решения.
1.5. Нелинейная регрессия на основе БУМ
1.6. Обзор подходов к решению оптимизационной задачи.
1.7. Выбор гиперпараметров алгоритма БУМ.
1.8. Исторический обзор
1.9. Выводы
ГЛАВА 2. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ БУМ С АДАПТИВНЫМИ ФУНКЦИЯМИ ПОТЕРЬ.
2.1. Построение квазиоптимальных функций потерь
2.1.1. Функции потерь.
2.1.2. Функционал риска.
2.1.3. Метод максимального правдоподобия и модели плотностей
2.2. Робастные функции потерь в условиях асимметричных засорений.
2.3. Конструирование двойственной задачи ЬУМ.
2.2.1. Двойственная задача для классических функций потерь
2.2.2. Двойственная задача для адаптивных функций потерь
2.2.3. Решение двойственной задачи с динамическими ограничениями.
2.2.4. Альтернативный подход к построению двойственной задачи для адаптивной функции потерь
2.4. Исследования
2.5. Выводы
ГЛАВА 3. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ ЬУМ С АСИММЕТРИЧНЫМИ ФУНКЦИЯМИ ПОТЕРЬ
3.1. Скошенные распределения и их моделирование
3.2. Конструирование квазиоптимальных функций потерь на основе линейно квадратичных аппроксимаций для использования их в БУМ
3.3. Конструирование двойственной задачи для случая асимметричных функций потерь в БУМ.
3.4. Исследования.
3.5. Оценка параметра скошенности распределения
3.6. Квантильная регрессия на основе БУМ.
3.7. Построение доверительных интервалов.
3.8. Оценка неизвестной дисперсии ошибок наблюдений
3.9. Выводы
ГЛАВА 4. ПОСТРОЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ
4.1. Задача построения компактной модели регрессии.
4.2. Функция енечувствительности Вапника и разреженные решения
4.3. Использование адаптивных функций потерь для получения разреженных решений1.
4.4. Метод решето Лапласа..
4.5. Двухшаговый метод аппроксимации
4.6. Разреженность в условиях гстсроскедастичности ошибок наблюдений
4.7. Исследования.
4.8. Выводы.
ГЛАВА 5. ПРИМЕНЕНИЕ БУМ В ЗАДАЧАХ ПОСТРОЕНИЯ ЗАВИСИМОСТЕЙ
5.1. Построение параметрических моделей на основе БУМ.
5.2. Построение полупараметрических моделей на основе ЬУМ.
5.3. Построение регрессии в условиях гетероскедастичности ошибок наблюдений
5.4. Построение регрессии в условиях мультиколлинеарности данных
5.5. Посгроение регрессии в условиях автокорреляции ошибок наблюдений
5.6. Выбор параметров алгоритма БУМ.
5.7.римеиение метода ЬУМ в прикладных задачах.
5.7.1. Анализ экспериментальных данных химического производства
5.7.2. Анализ выборки 1
5.7.3. Анализ выборки .
5.7.4. Анализ выборки i.
5.8. Выводы
Заключение.
Список использованных источников


Задача состоит в том, чтобы, располагая значениями входных данных и результатами проведенных наблюдений за измеряемой величиной у, как можно точнее оценить зависимость г(х). Оценка этой зависимости производится на основе конечного числа наблюдений (х,у),. Хх К, где п - общее число наблюдений. Машинное обучение, в самом простом виде, означает построение отображения входных данных на выходные на основе наблюдаемых пар вход-выход. При этом предполагается, что построенное отображение позволит получить отклик системы для данных, которые не использовались при построении отображения. Основными характеристиками качества модели при таком обучении являются точность и обобщающая способность. Целыо машинного обучения является выбор модели (отображения вход-выход), которая наилучшим образом (в некоторой метрике ошибок) приближается к истинной. Слишком усложненная модель оказывается переобученной, в то время как слишком простая модель является недообученной. Поэтому необходимо находить компромисс между точностью и обобщающей способностью модели []. Теория машинного обучения в первую очередь занимается проблемой нахождения оптимального соотношения между сложностью обучающейся машины и ее точностью. Обучающаяся машина может быть определена так, чтобы достигнуть функциональное отображение х-> /(х,а), определяемое множеством настраиваемых параметров а. В соответствии с парами входных и выходных значений, мы предполагаем, что существует некоторое неизвестное совместное распределение вероятностей Р(хуу), имеющее функцию плотности вероятности р(хуу)у на основе которой исходные данные были получены независимо и одинаково распределенными. Однако без знания распределения вероятности или функции плотности, мы не можем вычислить ожидаемый риск, используя выражение (1. И это является основной проблемой, встречающейся на практике. Из вида выражения (1. Яетр не зависит от исходного распределения вероятности и имеет фиксированное значение для конкретного значения а и обучающего множества (*/,>7), 1=1,2, Величина, стоящая в правой части выражения (1. Она зависит от диапазона изменения выходных данных. Пусть имеется некоторый параметр ц, такой, что 0 < г < 1. Следует отметить, что правильным масштабированием параметр ц легко сопоставить с некоторой функцией потерь (в идеальном случае, когда ошибки нет - ц = 0, в худшем случае - ц = 1). Для этого случая В. И - это неотрицательное целое число, которое называется размерностью Вапника-Червоненкиса (УС-размерностью) [4]. Размерность Вапника-Червоненкиса является количественной мерой сложности обучающейся машины. Как легко заметить, выражение (1. Р(х,у). Зная размерность Вапника-Червоненкиса - Л, можно вычислить второе слагаемое в выражении (1. Р(х,у) не удавалось. Очевидно, что желательно иметь обучающуюся машину с минимальным ожидаемым риском. На основе выражения (1. Таким образом, мы фиксируем структуру модели и пытаемся минимизировать риск без знания изначальной плотности распределения. Это приводит нас к принципу минимизации структурного риска. Основной целью принципа минимизации структурного риска (Structured Risk Minimization - SRM) является выбор оптимального сложности модели для заданной обучающей выборки [4]. Стоит отметить, что первое слагаемое в правой части выражения (1. Второе слагаемое в этом выражении в основном зависит от VC-размерности семейства функций. Таким образом, целыо принципа минимизации структурного риска является поиск подмножества выбранного семейства функций, такого, что верхняя граница риска для этого подмножества является минимальной. Поскольку VC-размерность представляет собой целое число, невозможно обеспечить гладкость по h. Согласно SRM, рассматривается множество аппроксимирующих функций, состоящее из вложенных множеств Sj, таких что (рис. Si с ^2 а. Sfc