Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей

• Автор: Трофимов, Ярослав Александрович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Дубна
• Количество страниц: 163 с. : ил.

ВВЕДЕНИЕ.

Глава 1. Анализ статистических и нейросетевых методов решения задач классификации.

1.1 Исторические предпосылки развития технологииискусственных нейронных сетей.

1.2 Основные принципы и преимущества нейросетевых технологий

1.2.1 Свойство универсальной аппроксимации.

1.2.2 Отображение входных данных в выходные

1.2.3 Свойство обобщения.

1.2.4 Линейная разделимость

1.2.5 Адаптивность.

1.2.6 Нелинейность.

1.2.7 Отказоустойчивость.

1.2.8 Унивсрсальность
1.3 Обработка данных ИНС и статистические методы
1.3.1 Критерий Байеса
1.3.2 Критерий НейманаПирсона.
1.4 Анализ характеристик операторов ИНС и алгоритмов, синтезированных на основе статистических методов
1.4.1 Характеристики классификатора на примере обнаружителя детерминированного сигнала на фоне гауссовского шума
1.4.2 Характеристики классификатора на основе различения двух линейнонезависимых векторов со случайными параметрами
1.4.3 Характеристики классификатора на примере задачи обнаружения случайного сигнала с детерминированной амплитудой
и случайной начальной фазой.
1.5 Выводы по главе
Глава 2. Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей
2.1 Представление наблюдаемых данных полигауссовской вероятностной моделью.
2.2 Синтез байесовских нейронных сетей по критерию среднего риска
2.3 Достаточные статистики для полигауссовских алгоритмов
2.4 Асимптотические приближения вычислительные особенности реализации операторов полигауссовских нейронных сетей.
2.5 Синтез байесовских нейронных сетей с использованием поли гауссовской вероятностной модели с различными
средними значениями и одинаковой ковариацией
2.6 Синтез байесовских нейронных сетей при использовании полигауссовской вероятностной модели с различными ковариациями
2.7 Оценка вероятности ошибок классификации
2.8 Процедуры обучения и адаптации байесовских нейронных сетей при использовании полигауссовской вероятностной модели представления данных
2.9 Динамические байесовские нейронные сети с использованием полигауссовской вероятностной модели
2. Выводы по главе.
Глава 3. Построение искусственных нейронных сетей на основе аппроксимации функционала байесовской нейронной сети
3.1 Аппроксимация функционала апостериорной вероятности путм применения операторов нейросетсвого логического базиса.
3.2 Интерпретация весовых коэффициентов и смещений многослойных нейронных сетей по параметрам полигауссовской вероятностной модели.
3.3 Инвариантность процедур обработкив многослойных нейронных сетях к изменению параметров данных
3.4 Синтез сетей на основе радиальных базисных функций по критерию максимального правдоподобия с использованием полигауссовской вероятностной модели.
3.5 Выводы по главе.
Глава 4. Применение методов синтеза нейронных сетей при разработке систем классификации.
4.1 Реализация функции Исключающее ИЛИ в логическом нейросетевом базисе с применением полигауссовской вероятностной модели
представления данных.
4.2 Синтез системы классификации делящихся и радиоактивных материалов на основе радиационных портальных мониторов.
4.3 Представление знаний с помощью ИНС для классификации морских объектов по создаваемым ими шумовым гидроакустическим полям
4.4 Выводы по главе
ЗАКЛЮЧЕНИЕ.
СПИСОК ИСТОЧНИКОВ


На основе полигауссовской вероятностной модели ПВМ представления исходных данных записаны выражения полигауссовской плотности распределения вероятностей случайной величины и достаточных статистик. Обосновывается необходимость введения линейных и квадратичных достаточных статистик. Отмечается важность использования квадратичных достаточных статистик. Описывается полученная структура байесовской нейронной сети БНС на основе применения критерия среднего риска для оценивания номера индекса класса при использовании ПВМ. Па основе статистических методов показываются аналитические оценки вероятностей ложной классификации. Предлагается применение метода для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака в качестве меры различия между гауссовскими компонентами модели. Обосновывается применение асимптотически оптимальных процедур реализации алгоритмов обработки. Данные алгоритмы основаны на использовании асимитотическинормальной статистики Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей. Приводится структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями различными средними и одинаковыми ковариациями различными средними и различными ковариациями. На основе известных градиентных алгоритмов получены алгоритмы обучения и адаптации байесовских нейронных сетей. Используется информационный критерий. Полученные алгоритмы обучения адаптации функционируют параллельно с основным алгоритмом классификации, что. Предложена структура динамической нейронной сети на основе полигауссовской модели, позволяющей преодалеть проблему проклятие размерности. Проблема проклятия размерности связана с тем, что с ростом размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоев сети и числа межнейронных синаптических связей. В третьей главе разработаныметодысинтеза многослойных нейронных сетей. Показаны возможности аппроксимации байесовской апостериорной вероятности с помощью логических операторов, многослойных нейронных сетей. Доказывается, что логистическая функция представляет собой частную апостериорную вероятность, которая совпадает в случае функции двоичной классификации. В качестве частного вида апостериорной вероятности предлагается применение двухпороговой логистической функции. Рассмотрена структура вычислений и архитектура соответствующих синтезируемых многослойных нейронных сетей. Использование многослойных нейронных сетей вместо байесовских нейронных сетей позволяет снизить аппаратные и вычислительные затраты при сохранении оптимальности классификации. Второй и третий скрытые слои предназначены для вычисления функции логических операций над действительными переменными. В главе рассматриваются вопросы вычислительной взаимосвязи МЫС с нейронными сетями на основе радиальных базисных функций. Такие нейронные сети ИВРсети, сети Кохоиена, ЬУ2сети в качестве функций активации используют соответствующие функции, которые синтезируются непосредственно на основе применения ПВМ и использования критерия максимального правдоподобия1 для решения задачи классификации кластеризации. На основе взаимосвязи с параметрами полигауссовской вероятностной модели в главе развиваются принципы интерпретациивесовых коэффициентов и смещений. Показывается, что знания, представляемые свободными параметрами нейронных сетей весовыми коэффициентами и смещениями, взаимно однозначно связаны с параметрами полигауссовской вероятностной модели. Рассматриваются новые решения хорошо известной задачи Исключающее ИЛИ на основе синтезируемых . Путм имитационного моделирования детально исследуются полученные автором структуры НС для решения задачи Исключающее ИЛИ с различными типами переменных логические и действительные. Применение ПВМ для синтеза нейросетевого алгоритма Исключающего ИЛИ позволяет наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.