Групповая классификация на основе байесовских моделей

• Автор: Бабушкина, Елена Вадимовна
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Пермь
• Количество страниц: 150 с. : ил.

СОДЕРЖАНИЕ

СПИСОК ОБОЗНАЧЕНИЙ

ВВЕДЕНИЕ

1. МАТЕМАТИЧЕСКОЕ ПРЕДИСЛОВИЕ.

1.1. Постановка задачи групповой классификации

1.2. Критерий отношения правдоподобия.

1.3. Статистические правила групповой классификации.

1.4. Краткие сведения о некоторых вероятностных моделях, используемых в работе.

1.4.1. Многомерное нормальное распределение Ур,

1.4.2. Распределение Уишарта Ж,и.

1.4.3. Распределение выборочных характеристик нормального закона ЛТГр,Е,и.

1.4.4. Многомерное Траспределение Стьюдента Гу,р,Е.
1.4.5. Нормальные модели последовательностей зависимых наблюдений рхх
1.5. Байесовский подход к статистическому оцениванию
2. ОЦЕНИВАНИЕ ПЛОТНОСТЕЙ РАСПРЕДЕЛЕНИЙ ВЫБОРОК В РАМКАХ БАЙЕСОВСКИХ МОДЕЛЕЙ
2.1. Восстановление зависимостей по эмпирическим данным.
2.1.1. Структура байесовских оценок.
2.1.2. Байесовские оценки при квадратичной функции потерь.
2.1.3. Восстановление плотностей распределений в байесовских хМОДеЛЯХ.
2.1.4. Выбор априорного распределения неизвестных параметров в байесовской модели
2.2. Построение байесовских оценок плотностей распределений выборок в рамках нормальных моделей.
2.3. Байесовское оценивание плотности распределения нормальной последовательности марковского типа.
2.4. Оценивание параметрических функций в байесовских моделях Уишарта и многомерного Траспределения Стыодента
2.4.1. Модели Уишарта
2.4.2. Модель Траспределения Стыодента
2.5. Квадратические погрешности байесовских оценок.
3. РЕШАЮЩИЕ ПРАВИЛА ГРУППОВОЙ КЛАССИФИКАЦИИ
3.1. Групповые классификаторы в случае нормальных классов.
3.1.1. Классификация в условиях независимости наблюдений.
3.1.2. Классификация последовательности зависимых наблюдений
3.2. Классификация в случае распределения Уишарта и Траспределения Стыодента.
3.2.1. Групповая классификация независимых матриц, имеющих распределение Уишарта.
3.2.2. Вычисление верхней и нижней границы для вероятности ошибочной классификации в случае двух Траспределений Стыодента.
3.2.3. Статистическая групповая классификация в случае Траспределения Стьюдента.
3.3. Асимптотические свойства статистических групповых классификаторов.
4. СРАВНИТЕЛЬНЫЕ ХАРАКТЕРИСТИКИ СТАТИСТИЧЕСКИХ ОЦЕНОК И РЕШАЮЩИХ ПРАВИЛ КЛАССИФИКАЦИИ
4.1. Методы статистического моделирования
4.1.1. Методы МонтеКарло
4.1.2. Моделирование стандартного нормального распределе
4.1.3. Моделирование невырожденного многомерного нормального распределения.
4.1.4. Генерация случайных величин, имеющих х распределение
4.1.5. Моделирование многомерного Траспределения.
4.2. Оценка суммарной вероятности ошибок классификации методом статистического моделирования
4.2.1. Цель экспериментов
4.2.2. Условия экспериментов
4.2.3. Результаты проведенных экспериментов
4.3. Исследование статистических оценок для вероятностной модели выборки, извлеченной из нормальной совокупности.
4.3.1. Исследование байесовской оценки.
4.3.2. Сравнение байесовской и несмещенной оценки для функции правдоподобия выборки, извлеченной из нормальной совокупности.
ЗАКЛЮЧЕНИЕ.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК.
СПИСОК ОБОЗНАЧЕНИЙ
л XоьОл0 классифицируемая выборка,
л реализация классифицируемой выборки,
л Х,Х2уХп обучающая выборка,
тг0 л1,лг2,.,дл реализация выборки тг,
л , 7 выборка независимых случайных величин, полученная в
результате преобразования последовательности зависимых случайных величин,
Х Хт,.,Хк транспонированный мерный вектор признаков,
значениего признака объекта X, к размерность пространства признаков,
МЛГ знак математического ожидания,
В матрица, обратная матрице В,
В определитель матрицы В,
В след матрицы В,
I символ единичной матрицы,
ЛУ пространство положительно определенных симметричных квадратных матриц размерности кх к,
В мерное евклидово пространство,
Е пространство всевозможных выборок объема о
Еи1 пространство всевозможных выборок объема п1,
Ар авторегрессия порядка р,
М количество классов в совокупности О,
щ ый класс совокупность,
априорная вероятность класса со, 1,2,.,М,
Я Хц ,Х2 обучающая выборка, представляющая й класс,
символ завершения доказательства утверждения.
ВВЕДЕНИЕ
Актуальность


В работе исследованы вероятности ошибочного распознавания в зависимости от времени классификации и времени обучения в случае, когда параметры системы неизвестны. Обобщение результатов Э. К.Шпилевского на случай многомерных последовательностей АИр получено в работах М. Кршишко , . Работы В. Клигиса , посвящены решению задачи классификации многомерных зависимых последовательностей марковского типа. Здесь приводится постановка задачи построения группового классификатора для зависимых многомерных наблюдений построены оптимальные и статистические решающие правила, основанные на оценках максимального правдоподобия, найдены аналитические выражения для суммарных вероятностей ошибок классификации проведено сравнение качества различных классификаторов на моделированных данных. К числу, таких моделей можно отнести некоторые байесовские модели. Под байесовскими моделями понимаются математические модели, которые включают в себя функцию, описывающую распределение объектов в исследуемой совокупности, которое принадлежит некоторому параметрическому семейству и априорное распределение вероятностей анализируемых неизвестных параметров. Особый интерес представляют модели, в которых параметрическое семейство обладает достаточными статистиками. В последнее время широкую популярность приобрели базы данных, в которых содержится большое количество статистической информации, относящейся к одной и той же исследуемой совокупности когда физические эксперименты проводятся на одном и том же объекте. Хранение таких данных требует больших объемов памяти. Если для параметров вероятностной модели совокупности существуют достаточные статистики, то появляется возможность значительно сжать объем информации за счет хранения вычисленных значений этих статистик. В связи с этим возникает проблема разработки методов, позволяющих принимать решения на основе обобщенных данных. Разработке и исследованию методов групповой классификации многомерных наблюдений в случае байесовских моделей и посвящена настоящая работа. Цель работы состоит в построении и изучении групповых классификаторов в случае, когда выборки наблюдений описываются байесовскими моделями. Уишарта. Для осуществления цели работы необходимо решить следующие задачи 1 провести статистическое оценивание параметрической функции, входящей в состав байесовской модели 2 построить решающие правила групповой классификации 3 исследовать построенные статистические оценки и разработанные классификаторы, используя аналитические методы и методы статистического моделирования. Траспределения получены аналитические выражения верхней и нижней границы суммарной вероятности ошибок для оптимального байесовского решающего правила численно исследована зависимость вероятности ошибки классификации выборки от параметров модели при использовании различных групповых классификаторов в случае
нормальных классов и классов, объекты в которых имеют Траспределение Стьюдента. Результаты, полученные в работе, являются вкладом в теорию групповой классификации. Разработанные в работе методы могут быть положены в основу конкретных эффективных алгоритмов распознавания при решении практических задач техники, экономики, медицины. Материалы диссертации вошли в курсы лекций и лабораторных практикумов для бакалавров и магистров механикоматематического факультета Пермского государственного университета, обучающихся по направлению Прикладная математика и информатика специализация Математическое моделирование в экономике. Разработка асимптотически оптимальных решающих правил группового распознавания 4 Построение математических моделей задач распознавания групп объектов из некоторых параметрических
семейств руководитель проф. Р.А. Р.А. Абусев , проф. В.В. Маланин. Соотношения, определяющие статистически состоятельные байесовские оценки плотности распределения достаточных статистик нормального закона, плотности распределения марковской последовательности многомерных нормальных векторов, функций правдоподобия выборок, извлеченных из распределения и распределения Уишарта.