Исследование подхода к решению задачи классификации последовательностей, представленных скрытыми марковскими моделями, с использованием инициированных этими моделями признаков

• Автор: Гультяева, Татьяна Александровна
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Новосибирск
• Количество страниц: 293 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
ГЛАВА 1 ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ
1Л Введение в теорию СММ
1.2 Обучение СММ
1.2 Л Алгоритм прямого-обратного прохода
1.2.2 Алгоритм Баум-Велша
1.2.3 Масштабирование
1.3 Моделирование последовательностей
1.4 Классификация последовательностей
1.5 Исторический обзор
1.6 Выводы
ГЛАВА 2 ЗАДАЧА КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ
2.1 Постановка задачи классификации последовательностей
2.2 Исследуемый подход к решению задачи классификации последовательностей
2.3 Метод ближайших соседей
2.4 Классификатор, основанный на методе опорных векторов
2.4.1 Машины опорных векторов
2.4.2 Размерность Вапника-Червоненкиса и минимизация структурного риска
2.4.3 Построение ЬУМ классификатора
2.4.3.1 Случай линейно разделимой выборки
2.4.3.2 Случай линейно неразделимой выборка
2.4.4 Выбор гиперпараметров алгоритма ЬУМ
2.5 Многоклассовая классификация
2.6 Вычисление первых производных от логарифма функции правдоподобия для СММ

2.7 Особенности вычисления первых производных от логарифма функции правдоподобия для СММ при длинных последовательностях
2.8 Исследование возможности проведения классификации в пространстве первых производных
2.9 Выводы
ГЛАВА 3 КЛАССИФИКАЦИЯ ПОСЛЕДОВАТЕЛЬНОСТЕЙ В УСЛОВИЯХ ДЕЙСТВИЯ ПОМЕХ РАЗЛИЧНОЙ ИНТЕНСИВНОСТИ И ПРИРОДЫ
3.1 Используемые модели помех, действующих на последовательности
3.2 Исследования для моделей, в которых вероятности появления наблюдений описываются одним распределением
3.2.1 Аддитивная помеха с постоянными параметрами распределения
3.2.2 Аддитивная помеха с изменяемыми параметрами распределения
3.2.3 Вероятностная помеха с постоянными параметрами распределения
3.2.4 Вероятностная помеха с изменяемыми параметрами распределения
3.3 Исследования для моделей, в которых вероятности появления наблюдений описываются смесями распределений
3.3.1 Аддитивная помеха с постоянными параметрами распределения
3.3.2 Аддитивная помеха с изменяемыми параметрами
3.3.3 Вероятностная помеха с постоянными параметрами распределения
3.3.4 Вероятностная помеха с изменяемыми параметрами распределения
3.4 Помехи, распределенные по различным законам
3.5 Выводы
ГЛАВА 4 ПОВЕДЕНИЕ КЛАССИФИКАТОРОВ В УСЛОВИЯХ ОТКЛОНЕНИЯ ОТ ПРЕДПОЛОЖЕНИЙ

4.1 Различные законы распределений появления наблюдений, отличные от нормального
4.1.1 Вероятности появления наблюдений описываются распределением, параметры которого зависят от номера скрытого состояния СММ.
4.1.2 Вероятности появления наблюдений описываются распределениями, параметры и вид которых зависят от номера скрытого состояния СММ
4.1.3 Вероятность появления наблюдений описывается смесью распределений, вид которых зависит от номера скрытого состояния СММ.
4.1.4 Вероятность появления наблюдений описывается смесью различных распределений с параметрами, зависящими от номера скрытого состояния СММ
4.2 Процесс или объект, порождающий наблюдаемые последовательности, не имеет скрытых состояний
4.3 Поведение классификаторов в условиях структурной неопределенности
4.3.1 Исследование на двухклассовой задаче классификации
4.3.2 Исследование на много классовой задаче классификации
4.4 Выводы
ГЛАВА 5 ВЫБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ
5.1 Методы выбора информативных признаков
5.2 Исследования на смоделированных данных
5.2.1 Исследования на двухклассовой задаче классификации
5.2.2 Исследования на многоклассовой задаче классификации
5.3 Экспериментальные и прикладная задачи
5.3.1 Анализ выборки «Hill-Valley Dataset»
5.3.2 Анализ выборки «Waveform Database»
5.3.3 Прикладная задача
5.4 Выводы

Последовательности длины Т моделировались по методу Монте-Карло. Для проведения экспериментов было сгенерировано по 5 наборов последовательностей, каждый набор содержал по К/еагп = 100 последовательностей. Далее проводилось обучение СММ на этих данных и для каждого из 5 наборов вычислялась евклидова норма разности оцененных и истинных значений параметров, т. е. значение А. Усредненные по пяти наборам результаты приведены на рисунке 1.2. При этом графики для отображения этой информации имеют разный тип линий:
1) для матрицы переходных вероятностей - штрих-пунктирная линия с одной точкой;
2) для параметров математического ожидания - штрих-пунктирная линия с двумя точками);
3) для параметров дисперсии - линия, состоящая из точек;
4) для параметров веса смесей - сплошная линия.
Поскольку алгоритм Баум-Велша для поиска оценок параметров СММ сильно зависит от начального приближения, т. к. является модификацией ЕМ-алгоритма (у которого, как известно, существует такая проблема), и может сходиться к локальному максимуму функции правдоподобия, то был использован алгоритм случайного ненаправленного поиска глобального экстремума. Для каждого обучающего набора последовательностей было смоделировано по 10 начальных приближений. После оценивания параметров моделей, были выбраны те оценки, которые обеспечивали максимальное значение функции правдоподобия на обучающих наборах.
На рисунке 1.2 заметно, что с увеличением длины последовательностей оценки параметров стремятся к своим истинным значениям. Этот вполне ожидаемый результат связан тем, что оценки параметров обладают свойством несмещенности, т. к. являются оценками, полученными по методу максимального правдоподобия. При этом для всех оценок достигается точность менее 0.1 (при Т > 1200).