Применение методов агрегации экспертов и регрессии на основе гауссовских процессов для построения метамоделей

• Автор: Приходько, Павел Викторович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Москва
• Количество страниц: 121 с. : ил.

Оглавление
Введение

Основные положения

Научная новизна

Теоретическая и практическая значимость

Апробация работы

Публикации

1 Задача восстановления зависимости и основные определения

1.1 Базовый апнроксиматор

1.1.1 Искуственные Нейронные Сети (ИНС)

1.1.2 Регрессия на основе гауссовских процессов

1.2 Представление экспериментальных
результатов
1.2.1 Кривые Долана-Мора
2 Слишком простой класс базовых моделей
2.1 Постановка задачи построения ансамбля регрессионных моделей
2.2 Основные подходы к построению
ансамблей

2.3 Процедура БегБуст для построения
ансамблей анпроксиматоров
2.3.1 Необходимые предположения
2.3.2 Алгоритм БегБуст
2.3.3 Оценка скорости сходимости
2.3.4 Проверка справедливости теоретических предположений
2.3.5 Сравнение теоретических свойств алгоритмов SquareLev.Il и БегБуст
2.4 Заключение по главе
3 Избыточность в признаках
3.1 Выделение значимых направлений с помощью аппроксимации градиента
3.2 Эффективное снижение размерности на основе гауссовских
процессов
3.2.1 Задача эффективного снижения размерности
3.2.2 Сравнение точности методов эффективного снижения размерности
3.2.3 Оценка эффективной размерности данных
3.2.4 Эксперименты по оценке размерности
3.3 Заключение по главе
4 Неоднородность в данных
4.1 Обзор методов построения смесей
экспертов

4.1.1 Одновременное параллельное построение
экспертов
4.1.2 Последовательное построение экспертов
4.2 Предложенные процедуры
4.2.1 Неравномерная выборка
4.2.2 Приближение разрывных функций
4.3 Заключение по главе
Заключение
Литература
А Приложение
А.1 Доказательства
А. 1.1 Доказательство Леммы
АЛЛ Доказательство Теоремы 2
А.1.3 Доказательство Теоремы 3
АЛЛ Доказательство Утверждения
А.1.5 Доказательство Утверждения
А.1.6 Доказательство Утверждения
АЛЛ Доказательство Утверждения
А.2 Экспериментальные результаты
АЛЛ Экспериментальные результаты по методу БегБуст .
А.2.2 Экспериментальные результаты по методу VEGA . .
А.2.3 Экспериментальные результаты по смесям экспертов
АЛЛ Оптимизация веса обшивки корпуса самолета
Список иллюстраций

ансамбля /п, то есть ошибка аппроксимации удовлетворяет неравенству
2.3 Процедура БегБуст для построения ансамблей аппроксиматоров
Опишем предлагаемый метод БегБуст (Е^Вооз!). Идея метода БегБуст состой']’ в том, чтобы сохранить форму предсказания ансамбля в виде усреднения предсказаний всех входящих в него аппроксиматоров и одновременно последовательно обучать базовые аппроксиматоры не на первоначальной выборке 8ТО, а на некоторой разности выходных значений из выборки и предсказаний аппроксиматоров ансамбля, построенных на соответствующих предыдущих итерациях.
Итак, допустим, что ансамбль после первых п шагов имеет вид /„ = п /Т; I 55'(х)- Необходимо строить модели д3, ] = п + 1,п + 2,... последовательно, минимизируя эмпирический риск (1.2) на обучающей выборке Эт так, чтобы ансамбли /п+] , /п+2, • ■ ■ сохранили структуру усреднения. Заметим, что
Таким образом, для того, чтобы построить модели у = 1, 2,..., позволяющие сохранить структуру усреднения, необходимо находить на каждом шаге алгоритма такую базовую модель д Є С, на которой в (2.6) достигает-
егр.р (/„) < р + 2г„Е (/(х) - /га(х)) - (г„)2.
(2.6)