Идентифицируемость и обучение гауссовских графовых моделей с латентными переменными

• Автор: Стафеев, Сергей Вячеславович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Петрозаводск
• Количество страниц: 145 с. : ил.

Оглавление
Введение

1 Представление вероятностностатистических взаимосвязей с помощью графов

1.1 Основные определения и обозначения

1.2 Моделирование условных независимостей с помотцью графов

1.2.1 Условная независимость случайных величин

1.2.2 Неориентированный граф зависимостей.

1.2.3 Ориентированный граф зависимостей.

1.2.4 Смешанный граф зависимостей.

1.2.5 Маргинальная модель независимостей

1.3 Смешанная гауссовская графовая модель.

1.4 Гауссовские графовые модели с латентными переменными
1.4.1 Классическая модель факторного анализа
1.4.2 Модель факторного анализа с зависимыми остатками
2 Идентифицируемость гауссовских деревьев с латентными переменными
2.1 Описание класса рассматриваемых моделей.
2.2 Гауссовские деревья с латентными переменными
2.3 Приведенная структура гауссовского дерева с латентными
переменными.
2.4 Структурная идентифицируемость гауссовских деревьев с
латентными переменными
3 Модели факторного анализа с зависимыми остатками
3.1 Модель факторного анализа с зависимыми факторами . .
3.1.1 Описание класса рассматриваемых моделей.
3.1.2 Условия идентифицируемости при к 2
3.1.3 Примеры идентифицируемых моделей.
3.1.4 Условия идентифицируемости при произвольном к.
3.2 Модель с независимыми факторами.
3.2.1 Описание класса рассматриваемых моделей.
3.2.2 Условия идентифицируемости
3.2.3 Условия идентифицируемости в случае, когда по
стулируются некоторые нули в матрице факторных нагрузок
4 Обучение графовых гауссовских моделей с латентными переменными
4.1 ЕМ алгоритм.3
4.2 ЕМ алгоритм для случая нормального распределения . . .
4.3 Алгоритм нахождения оценок максимального правдоподобия для параметров гауссовской смешанной графовой модели
4.4 Алгоритм нахождения оценок максимального правдоподобия для параметров гауссовской смешанной графовой модели с латентными переменными
4.5 Структурный ЕМ алгоритм для модели факторного анализа с зависимыми остатками
4.6 Система
4.6.1 Описание системы .
4.6.2 Модельные задачи.
4.6.3 Особенности связной речи детей шестилетнего возраста с задержкой психического развития
4.6.4 Особенности индивидуального стиля деятельности государственных служащих.
Заключение
Литература


Также, следствием параметрической неидентифицируемости модели может быть ошибочная содержательная интерпретация параметров модели [, 3]. Несмотря на то, что вопросам структурной и параметрической идентифицируемости уделяется большое внимание ([, , , ]), для ряда моделей, в частности, для смешанных гауссовских графовых моделей с латентными переменными, условия структурной и параметрической идентифицируемости к настоящему времени не найдены. Как уже отмечалось, одной из наиболее известных моделей с латентными переменными является модель факторного анализа. Заметим, что данную модель можно представить в виде гауссовской графовой модели с латентными переменными []. При применении стандартных методов факторного анализа [6, , ] часто возникает ситуация, при которой не все извлеченные факторы поддаются содержательной интерпретации, а в то же время, если мы оставим в модели только хорошо интерпретируемые факторы, то полученная модель не будет адекватно описывать зависимости между наблюдаемыми переменными. В связи с этим, целесообразно переходить к моделям с зависимыми остатками. В работах [, ,2,3,9] были получены условия параметрической идентифицируемости для моделей однофакторного анализа с зависимостью между остатками, описываемыми марковской сетью, байесовской сетью или ковариационной графовой моделью. Цель диссертации состояла в выявлении условий структурной и параметрической идентифицируемости и разработке алгоритмов обучения гауссовских графовых моделей с латентными переменными. Объектами исследования были гауссовские графовые модели, условия парамегрической и структурной идентифицируемости рассматриваемых моделей, а также итеративные алгоритмы нахождения оценок максимального правдоподобия параметров моделей. В диссертации использовались методы теории вероятностей, математической и прикладной статистики, теории графов. Диссертация состоит из введения, четырех глав, заключения, списка литературы и трех приложений. В первой главе диссертации вводятся необходимые понятия и определения, касающиеся вопросов представления вероятностно - статистических зависимостей с помощью графов. В ней приведены определения марковской сети, байесовской сети, смешанной графовой модели, а также рассмотрены примеры гауссовских графовых моделей с латентными переменными. Во второй главе диссертации рассматриваются вопросы параметрической и структурной идентифицируемости смешанных гауссовских графовых моделей с латентными переменными, структура которых является деревом. Данные модели в диссертации названы гауссовскими деревьями. Для рассматриваемого класса моделей вводится новая, более удобная для целей интерпретации, параметризация. Показано, что опа эквивалентна предложенной в [5] параметризации модели. В теореме 2. В теореме 2. В главе вводится понятие приведенной структуры гауссовского дерева. Необходимость введения данного понятия обусловлена тем, что структура гауссовского дерева не может быть однозначпо восстановлена по матрице ковариаций наблюдаемых случайных величин. В теоремах 2. В третьей главе диссертации рассматриваются вопросы параметрической идентифицируемости для моделей факторного анализа с зависимыми остатками. В первом разделе главы рассматривается модель с зависимыми факторами, зависимость между остатками которой описывается ковариационной графовой моделью. Для данной модели получены условия локальной и глобальной параметрической идентифицируемости, а также определен один класс структур, для которых эти условия выполняются. В разделе 3 рассмотрена модель с независимыми факторами, зависимость между остатками которой описывается смешанной графовой моделью. Для данной модели также получены условия локальной и глобальной параметрической идентифицируемости, а также определен класс структур, для которых эти условия выполняются. Данный класс составляют деревья при некоторых ограничениях на число смежных вершин для каждой вершины дерева. В четвертой главе диссертации рассмотрены алгоритмы обучения гауссовских смешанных графовых моделей с латентными переменными и моделей факторного анализа с зависимыми остатками.