Методы решения задачи восстановления зависимости коллективами распознающих алгоритмов

• Автор: Ткачев, Юрий Игоревич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Москва
• Количество страниц: 49 с.

Оглавление
Введение

Глава 1. Модели восстановления зависимостей

1.1 Разбиение области значений целевого признака

1.2 Байесовский корректор

1.2.1 Общая схема построения модели

1.2.2 Вычисление оценок вероятностей

1.2.3 Сглаживание оценок вероятностей

1.2.4 Корректность модели

1.2.5 Свойства модели при снижении числа интервалов разбиения

1.3 Линейный корректор

1.3.1 Общая схема построения модели
1.3.2 Корректность модели
1.3.3 Вычисление вектора весов
1.3.4 Свойства модели при снижении числа интервалов разбиения
Глава 2. Устойчивость моделей
2.1 Изменение описаний объектов
2.2 Изменение значений целевого признака
2.3 Изменение описаний и значений целевого признака объектов
Глава 3. Практическое сравнение моделей
3.1 Модельные задачи
3.2 Реальные задачи
3.3 Результаты
Заключение
Литература

Введение
Рассматривается стандартная задача восстановления зависимостей между вектором независимых переменных х — ..., х^), х1'-1'1 G Mj,
где Mj — множество произвольной природы, и скалярной величиной у G М по выборке прецедентов {(тд, предполагая существование между ни-
ми функциональной связи у = f(x). Вектор х является признаковым описанием некоторого объекта, ситуации, явления или процесса, а величина у — значение некоторой скалярной характеристики х. Данная задача в статистической постановке известна как задача восстановления регрессии — функции условного математического ожидания, при этом предполагается существование условной плотности р(ух).
В настоящее время существуют различные параметрические и непараметрические подходы к восстановлению регрессий.
Параметрический подход предполагает наличие функциональной зависимости определенного вида, зависящей от параметров w модели.
Линейная регрессия.

Зависимая переменная восстанавливается [6] в виде у = wо + ^ wjxj- Пара-

метры модели есть решение оптимизационной задачи ^(yi—ÿi)2 =£• niin. Ре-
г=1 й
шение может быть представлено в виде w = (ХтХ)~1Хту., где X G Wnxd — матрица, в которой г -я строка является описанием объекта аф В случае слабой обусловленности матрицы ХТХ используются методы регуляризации: гребневая регрессия [6,19], для которой вектор параметров модели ищется в виде w = (ХТХ + т1)~1Хту, где т — параметр регуляризации, I G ®Фх'г — единичная матрица; метод LASSO [39,44,49], в котором вектор параметров

модели есть решение оптимизационной задачи
\у — Алп|| => тт,

Е 1И|| < к,

где к — параметр регуляризации.
Полиномиальная регрессия
Зависимая переменная восстанавливается [6] в виде

У = ^2 ^ г,;Р1,-,Р<гЖ11 • • ■ ГДе 7 — степень регрессии. Решение
и=О Р1-1 -pd~u
ищут методом наименьших квадратов аналогично линейной регрессии
для матрицы X, в которой в г -й строке компоненты есть произведение

X, ••■.
Криволинейная регрессия
Зависимая переменная восстанавливается [6, 34] в виде

у = Е 'wj(Pj(xl> ■ ■ ■> хсд, где у)], ] = 1 — преобразования Е" -> М.

Решение ищут методом наименьших квадратов аналогично линейной регрессии для матрицы X, в которой в г -й строке ] -я компонента есть 4>,{х х,...,ха).
Логистическая регрессия Зависимая переменная восстанавливается [22, 27] в виде у — 1+^_г, г =

Е и)3Х]

Метод опорных векторов
Зависимая переменная восстанавливается [3,25] в виде у = (из, х), вектор
ъи — линейная комбинация описаний объектов аф г = 1,..., т. Для поиска
линейной комбинации ставится задача минимизации в виде квадратичного 771
программирования: Е ((> Х1 ~ уО) + т(гн, го)2. Заметим, что в задаче ми-1=
нимизации и в зависимой переменной используется скалярное произведение описаний объектов. Также зависимая переменная может восстанавливаться в виде у — (ги,ср(х)), где уз — некоторая функция преобразования описаний объектов. Тогда в задаче оптимизации вместо скалярного произведения

Для построения требуемого разбиения можно воспользоваться алгоритмом 1.2.5. Алгоритмическая сложность построения такого разбиения равна 0(т3 log т).