Методы селективного комбинирования признаковой информации в задаче оценивания регрессионной зависимости

• Автор: Нгуен Чонг Тинь
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Тула
• Количество страниц: 140 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
1 ПРОБЛЕМА ПЕРЕОБУЧЕНИЯ ПРИ ВОССТАНОВЛЕНИИ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ И ОСНОВНЫЕ ЗАДАЧИ ИССЛЕДОВАНИЯ .„

1.1 Задача восстановления зависимостей по эмпирическим данным

1.2 Проблема переобучения

1.3 Байесовский подход к оцениванию зависимостей

1.4 Существующие методы отбора признаковой информации при

восстановлении зависимостей по эмпирическим данным

1.4.1 Гребневая регрессия

1.4.2 Метод Lasso

1.4.3 Метод Elastic Net
1.4.4 Метод Smoothly Clipped Absolute Deviation (SCAD)
1.4.5 Адаптивный LASSO (ALASSO)
1.4.6 Свойства регуляризованных оценок
1.5 Основные задачи исследования
2 ЗАДАЧИ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ, ПРИВОДЯЩИЕ К ПРОБЛЕМЕ ПЕРЕОБУЧЕНИЯ
2.1 Задача линейной регрессии
2.2 Задача анализа продолжительности жизни
2.3 Задача порядковой регрессии
2.4 Задача комбинирования потенциальных функций при
многомодальном восстановлении регрессионной зависимости
3 МОДЕЛЬ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ С РЕГУЛИРУЕМОЙ СЕЛЕКТИВНОСТЬЮ
3.1 Иерархическая вероятностная модель обучения восстановления зависимости с регулируемой селективностью
3.2 Свойства оценок параметров иерархической вероятностной модели с регулируемой селективностью

3.2.1 Асимптотическая несмещенность
3.2.2 Непрерывность
3.2.3 Селективность
3.2.4 Выполнение оракулъных неравенств и критерий состоятельности
оценок
3.2.5 Способность к отбору коррелированных регрессоров
3.2.6 Конечность верхней границы риска оценок
4 ПРОЦЕДУРА ОЦЕНИВАНИЯ МОДЕЛИ С РЕГУЛИРУЕМОЙ СЕЛЕКТИВНОСТЬЮ ДЛЯ РАЗЛИЧНЫХ ЗАДАЧ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ
4 Л Общий алгоритм оптимизации критерия восстановления зависимости с регулируемой селективностью
4.2 Восстановление модели линейной регрессии с регулируемой селективностью
4.3 Восстановление регрессионной модели анализа продолжительности жизни с регулируемой селективностью
4.4 Восстановление модели порядковой регрессии с регулируемой селективностью
4.5 Задача селективного комбинирования потенциальных функций при многомодальном восстановлении регрессионной зависимости
5 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МОДЕЛИ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ С РЕГУЛИРУЕМОЙ СЕЛЕКТИВНОСТЬЮ
5.1 Задача линейной регрессии и комбинирования потенциальных функций
5.2 Задача порядковой регрессии
5.3 Задача анализа продолжительности жизни
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЯ

ВВЕДЕНИЕ
Существенная часть всего многообразия способов использования компьютеров в практической деятельности укладывается в ставшие общепринятыми формулировки «восстановление зависимостей по эмпирическим данным», «обучение по прецедентам», или, в наиболее общей форме, «интеллектуальный анализ данных».
Наблюдаемый в настоящее время информационный взрыв вызывает постоянное расширение круга требующих решения задач обработки сложноорганизованных данных, выходящих за рамки возможностей существующей теории обучения машин. Наиболее яркими источниками таких задач являются разведка полезных ископаемых, молекулярная биология и генная инженерия, представление и анализ данных вычислительных экспериментов в научных исследованиях и инженерном проектировании (суррогатное моделирование), обработка изображений и видеопоследовательностей, идентификация личности, анализ динамики информационного наполнения и посещаемости веб-сайтов. Объекты, подлежащие анализу в подобных задачах, обладают следующими характерными особенностями.
Во-первых, такие объекты, представлены широким набором разнородных характеристик, многие из которых не могут быть сформированы априори в традиционном виде вектора признаков, но допускают попарное сравнение объектов путем измерения степени несходства с помощью метрик, способных образовывать нормы в некоторых гипотетических линейных пространствах. Сравнение объектов с разных точек зрения приводит одновременно к множеству метрик (модальностей представления объектов). В данной работе проблема разнородности данных понимается как настоятельная необходимость создания математического аппарата совместного использования всей

»полиномиальная функция: fj (х) = xJ;
► функция Гаусса: f (х) = ехр

»сигмоидная функция /(х) = а

где а(а)=
1 + ехр(-а)
логистическая функция.
В программных обеспечений обработки сигналов также часто используются вейвлет-функции.
Рисунок. 2.1 Примеры базисных функций: полиномиальная функция (слева), функция Гаусса (в середине), сигмоидная функция (справа). Предположим также, что зависимая переменная получается как
линейная функция т(х) = щ/ (х) + £, наблюдаемых значений
признаков. Здесь Е, - шум с нулевым средним и дисперсией р.
Таким образом, зависимая переменная будет иметь следующее распределение в пространстве R
1 ” Л2"
ф(уJ I w, Xj, р) = пг= ехр

(2.2)
Совместное условное распределение наблюдаемой обучающей совокупности будет иметь вид