Выпуклые критерии и параллелизуемые алгоритмы селективного комбинирования разнородных представлений объектов в задачах восстановления зависимостей по эмпирическим данным

• Автор: Разин, Николай Алексеевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Москва
• Количество страниц: 105 с. : ил.

Оглавление
ВВЕДЕНИЕ
1 ПРОБЛЕМА ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ ПРИ ОТСУТСТВИИ ЯВНО ВЫРАЖЕННОГО ВЕКТОРА ПРИЗНАКОВ ОБЪЕКТОВ
1.1 Прикладные задачи построения моделей эмпирических зависимостей при отсутствии явно выраженного вектора признаков объектов
1.1.1 Прогнозирование вторичной структуры белка как задача обучения распознаванию образов
1.1.2 Задача определения намагниченности в сверхпроводниках .
1.2 Современные методы отбора признаков объектов
1.2.1 Критерий обучения Lasso
1.2.2 Критерий обучения Elastic Net
1.3 Современные методы беспризнакового восстановления зависимостей
1.3.1 Метод потенциальных функций
1.3.2 Принципы восстановления зависимостей на основе метода потенциальных функций
1.3.3 Произвольная функция попарного сравнения объектов
1.3.4 Метод релевантных векторов на основе метода потенциальных функций
1.4 Многомодальный метод релевантных объектов; принцип квадратично-
модульной регуляризации обучения для одновременного отбора подмножеств релевантных объектов и релевантных функций парного сравнения
1.4.1 Линейное пространство вторичных признаков объектов и
задача их отбора
1.4.2 Выпуклые критерии обучения на основе квадратичномодульной регуляризации
1.4.3 Итерационный принцип численного решения выпуклых
задач обучения
1.4.4 Последовательные процедуры регуляризации
1.4.5 Параллельная реализация отдельной итерации

2 МНОГОМОДАЛЬНЫЙ МЕТОД РЕЛЕВАНТНЫХ ОБЪЕКТОВ ДЛЯ ЗАДАЧ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ
2.1 Выпуклый критерий обучения - дважды регуляризованная машина опорных векторов
2.1.1 Машина КУМ с произвольными функциями парного сравнения
2.2 Двойственная запись критерия и разбиение множества вторичных
признаков
2.3 Итерационный алгоритм решения двойственной задачи
2.3.1 Вспомогательные теоремы и утверждения
2.3.2 Алгоритм решения выпуклых задач селективного комбинирования потенциальных функций
2.3.3 Анализ сложности алгоритма решения выпуклых задач селективного комбинирования потенциальных функций
2.4 Обобщение алгоритма на случай произвольной выпуклой целе-
вой функции для БУМ-подобных задач обучения распознаванию образов
3 МНОГОМОДАЛЬНЫЙ МЕТОД РЕЛЕВАНТНЫХ ОБЪЕКТОВ ДЛЯ ЗАДАЧ ОЦЕНИВАНИЯ ЧИСЛОВЫХ ЗАВИСИМОСТЕЙ
3.1 Выпуклый критерий обучения - метод наименьших квадратов с
квадратично-модульной регуляризацией
3.2 Двойственная запись критерия и разбиение множества вторичных
признаков
3.3 Итерационный алгоритм решения двойственной задачи
3.3.1 Вспомогательные теоремы и обозначения
3.3.2 Описание итерационного алгоритма решения двойственной задачи
3.3.3 Анализ сложности итерационного алгоритма регуляризации
3.4 Последовательный алгоритм регуляризации
3.4.1 Вспомогательные теоремы
3.4.2 Алгоритм регуляризации
3.4.3 Анализ сложности алгоритма регуляризации
4 ПАРАЛЛЕЛЬНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ ОБУЧЕНИЯ

4.1 Модульная реализация распараллеливания
4.1.1 Умножение матриц
4.1.2 Решение системы линейных уравнений
4.2 Реализация алгоритма умножения матриц
4.2.1 Параллельное умножение матриц на CPU
4.2.2 Параллельное умножение матриц на видеокарте NVidia
GeForce 31 ОМ
4.3 Полученное ускорение
5 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МНОГОМОДАЛЬНОГО МЕТОДА РЕЛЕВАНТНЫХ ОБЪЕКТОВ
5.1 Модельные эксперименты
5.1.1 Задача обучения распознаванию образов
5.1.2 Задача восстановления числовой зависимости
5.2 Прогнозирование вторичной структуры белка как задача обучения распознаванию образов
5.2.1 Метод скользящего окна
5.2.2 Методы попарного сравнения аминокислотных фрагментов
5.2.3 Позиционный метод сравнения
5.2.4 Сравнение на базе Фурье-спектра
5.2.5 Результаты численных экспериментов
5.3 Восстановление зависимости намагниченности в сверхпроводниках в зависимости от времени проведения эксперимента как задача восстановления числовой зависимости
ЗАКЛЮЧЕНИЕ
Литература

2.1.1 Машина RVM с произвольными функциями парного
сравнения
Критерий обучения (2.1.1) остаётся полностью применимым в ситуации, когда представление объектов при помощи функцию сравнения S(u>',uj") более удобно, чем при помощи признакового описания x(w). Значения функции сравнения объекта w 6 П на каждом из N объектов обучающей совокупности xi(u) — S(uji,lo) могут быть использованы как его вторичные признаки [16]. В этом случае мы получаем обобщённую версию RVM, которую следует назвать Relevance Object Machine, потому что нет никакой связи с представлением объектов при помощи векторов признаков.
Возможность представления объектов несколькими априори равновероятными функциями парного сравнения Si(u',и>"),г = 1,п не влияет принципиально на критерий, кроме того, что количество вторичных признаков расширяется до

хц = Si(ut, ш)для всех w е Г
V^’I•I)
Xjij = Si(u}i, с^)для j-ого объекта ojj
Прямое обобщение критерия (2.1.1) даёт выпуклый критерий обучения, который отличается только количеством переменных:
п N N
ЕЕ {(3al + iiau\ + Е
i=1 1=1 j=1 tl”

Vj(Z X] auxHj + b)^l-8j,j = 1,N
i=1 1=
2.2 Двойственная запись критерия и разбиение множества вторичных признаков
Теорема 2.2.1 (1.4.1). Оптимальная гиперплоскость (ад, г = 1, гг, 2 = 1 ,N,b) определяется равенствами