Беспереборные методы кросс-валидации для оценивания обобщающей способности регрессионных моделей

• Автор: Черноусова, Елена Олеговна
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Москва
• Количество страниц: 87 с. : ил.

Оглавление
Введение
1 Проблема численной реализации кросс-валидации при оценивании обобщающей способности регрессионных моделей
1.1 Проблема оценивания обобщающей способности регрессионных моделей
1.2 Классический информационный критерий Акаике
1.3 Методы кросс-валидации
1.4 Основные задачи исследования
2 Принцип неявной кросс-валидации
2.1 Основные предположения о неизвестной регрессионной модели данных
2.2 Мысленный эксперимент наблюдателя Критерий, основанный на идее неявной кросс-валидации
2.3 Критерий неявной кросс-валидации для общей линейной нормальной модели
2.3.1 Общая линейная нормальная модель
2.3.2 Свойства линейной нормальной модели
2.3.3 Критерий неявной кросс-валидации
2.3.4 Гауссовская модель данных с известным параметром дисперсии шума, как частный случай линейной нормальной модели
2.3.5 Связь принципа неявной кросс валидации с методом несмещенного оценивания риска (среднего значения квадрата отклонения истинного значения скрытой характеристики от оцененного)
2.3.6 Частный случай: Классический информационный критерий Акаике
2.3.7 Гауссовская модель данных с неизвестным параметром дисперсии шума, как частный случай линейной нормальной модели
3 Частные виды квадратичной модели линейной регрессии и особенности применения метода неявной кросс-валидации для них

3.1 Критерий для линейной нормальной модели с требованием гладкости вектора коэффициентов
3.1.1 Регуляризация оценки регрессионной модели по гладкости вектора коэффициентов
3.1.2 Критерий неявной кросс-валидации
3.2 Критерий для модели линейной нестационарной регрессии
3.2.1 Модель линейной нестационарной регрессии
3.2.2 Критерий неявной кросс-валидации
3.2.3 Эксперименты
3.3 Линейная нестационарная регрессия с регуляризацией по критерию релевантности признаков
3.3.1 Гипер-априорная модель нестационарной регрессии
3.3.2 Критерий неявной кросс-валидации для коэффициентов нестационарной регрессии
3.4 Линейная нормальная модель с регуляризацией по методу релевантности признаков
3.4.1 Гипер-априорная модель данных
3.4.2 Критерий неявной кросс валидации для сложной гребневой регрессии
3.5 Неквадратичный выпуклый критерий оценивания коэффициентов в линеной регрессионной модели данных с квадратично-модульной регуляризацией
3.5.1 Две версии критерия оценивания коэффициентов регрессионной модели с квадратично-модульной регуляризацией: Elasic Net и Naïve Elasic Net
3.5.2 Нечисловой структурный параметр модели - оптимальное разбиение множества признаков
3.5.3 Принцип неявной кросс-валидации для линейной регрессионной зависимости с квадратично-модульной регуляризацией (полное подавление признаков)

3.5.4 Беспереборное вычисление скользящего контроля для линейной регрессионной зависимости с квадратично-модульной
регуляризацией (полное подавление признаков)
Заключение
Литература

После взятия условного математического ожидания разности 1п Ф (УI сх (у) )-1п Ф (у | сх (у)) получим:
| | (1пФ(у|сх(у))ЧпФ(у|сх(у))1ф(у|с)Ф(у|с)<Ууа?у =
| (с^(у))Г Ас1(у)Ф(у[с)й?у- | (с^(у))Г Асх(у)Ф(у|с)й(у

I (£л(У)Г А |с(у)Ф(у|ф(у Ф(у |с)й^у — | (с^(у))Г Ас(у)Ф(у|с)ф =
к" ЧкЛ у к"

-/(с*(у))Г А(с(у)-с)ф(у|с)й?у = -| (сх(у)-сх(с))Г А(с(у)-с)Ф(у|с)<Уу
к" ж"
С учетом формул (27), (28) и (29) последнее выражение равно
-1 («л (у) “ к (с))Г А (с(у) - с)Ф(у IС)й^у =

-1 (с>.(у)-сх(с))' (А + Бх)(А + Вх)"' А(с(у)-с)Ф(у|с)с/у =
-1 (сх(у)-сх(е))Г (а + Бх)(сх(у)-сх(с))Ф(уIс)
-1 Гг{(А + Бх)(сх (у) - сх (с))(сх (у) - сх (С))г ]ф(у |с)ф =

-Гг|(А + Бх) | (сх(у)-сх(с))(сх(у)-сх(с))ГФ(у|с)^1 =
I к« ]
^г{(А + )(А + )"' А(А + Ох- 7>{а(А + Бх
Стоит еще раз отметить, что доказательство опиралось на 1) квадратичное (по вектору параметров) представление логарифмической функции правдоподобия в достаточно широкой окрестности точки максимума и детерминированность и известность наблюдателю гессиана; 2) линейность байесовской оценки, как функции оценки максимума правдоподобия; 3) независимость ковариационной матрицы байесовской оценки от вектора параметров.
Таким образом, критерий (14), основанный на идее неявной кроссвалидации, для линейной нормальной модели данных принимает вид