Структурно-параметрический синтез нейросетевых систем обработки информации

• Автор: Милов, Владимир Ростиславович
• Шифр специальности: 05.13.01
• Научная степень: Докторская
• Год защиты: 2003
• Место защиты: Нижний Новгород
• Количество страниц: 310 с. : ил.

Введение

ГЛАВА 1. Задачи и методы обработки информации.

1.1. Принципы обработки информации

1.2. Оптимальная обработка информации.

1.3. Задачи обработки информации

1.4. Методы обработки информации при априорной неопределенности

1.4.1. Параметрические методы

1.4.2. Непараметрические методы

1.4.3. Нейросетевые методы.

ГЛАВА 2. Метод синтеза систем обработки информации при

априорной неопределенности на основе искусственных нейронных сетей.

2.1. Постановка задачи структурнопараметрического синтеза систем обработки информации.
2.2. Метод минимизации эмпирического риска
2.2.1. Настройка параметров систем обработки информации по методу минимизации эмпирического риска.
2.2.2. Анализ возможности применения метода минимизации эмпирического риска для синтеза систем обработки информации.
2.3. Разработка метода структурнопараметрического синтеза систем обработки информации
2.3.1. Концепция структурнопараметрического синтеза систем обработки информации.
2.3.2. Согласование вида характеристики входвыход системы обработки информации и данных наблюдения
2.3.3. Способы синтеза систем обработки информации .
2.4. Способы определения качества обработки информации.
2.5. Разработка способа синтеза систем обработки информации на основе метода регуляризации
2.5.1. Применение метода регуляризации для определения характеристики входвыход системы обработки информации
2.5.2. Выбор стабилизирующего функционала
2.5.3. Синтез системы обработки информации.
2.5.4. Анализ влияния параметра регуляризации на качество обработки информации.
2.6. Разработка комбинированного метода синтеза систем обработки информации
2.6.1. Синтез при параметрической априорной неопределенности
2.6.2. Синтез при непараметрической априорной неопределенности.
ГЛАВА 3. Методы и алгоритмы структурной и параметрической
оптимизации нейронных сетей.
3.1. Направления развития и области применения нейросетевых технологий.
3.2. Классификация нейронных сетей
3.3. Структура нейронных сетей с последовательными связями.
3.3.1. Многослойные нейронные сети.
3.3.2. Нейронные ИБНсети
3.3.3. Полиномиальные нейронные сети.
3.4. Применение методов оптимизации для обучения нейронных сетей.
3.4.1. Разработка универсальных процедур локальной оптимизации для настройки параметров нейронных сетей.
3.4.2. Методы поиска глобального экстремума
3.5. Синтез процедур и алгоритмов параметрической оптимизации нейронных сетей.
3.5.1. Многослойные нейронные сети.
3.5.2. Нейронные КВРсети
3.5.3. Полиномиальные нейронные сети.
3.6. Методы определения структуры нейронных сетей с последовательными связями.
3.6.1. Процедуры структурной оптимизации.
3.6.2. Метод направленной модификации структуры
3.7. Алгоритмы структурнопараметрического синтеза
нейронных сетей
ГЛАВА 4.Обработка информации на основе нейронных сетей .
4.1. Применение нейронных сетей для обработки сигналов
4.2. Процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей.
4.3. Алгоритмы настройки параметров нейросетсвых систем обработки сигналов
4.3.1. Регуляризованная оценка параметров систем по методу взвешенных наименьших квадратов
4.3.2. Синтез рекуррентного алгоритма с регуляризацией по методу взвешенных наименьших квадратов
4.3.3. Процедура адаптивной настройки параметров регуляризации и дисконтирования.
4.3.4. Модифицированные алгоритмы с регуляризацией
по методу взвешенных наименьших квадратов .
4.3.5. Обработка сигналов на основе адаптивных алгоритмов с регуляризацией.
4.4. Структурнопараметрический синтез нейросетевого классификатора.
4.4.1. Синтез классификаторов при априорной
неопределенности.
4.4.2. Решение задачи классификации на основе структурнопараметрического синтеза нейронных сетей
4.4.3. Моделирование процедур классификации
ГЛАВА 5. Применение нейросетевых систем обработки
информации
5.1. Прием дискретных сообщений в многолучевых радиоканалах.
5.1.1. Оптимальный поэлементный прием дискретных сообщений в каналах с памятью
5.1.2. Нейросетевой приемник дискретных сообщений
5.2. Идентификация каналов связи
5.2.1. Идентификация нелинейных каналов с памятью
на основе нейронных сетей.
5.2.2. Алгоритмы настройки параметров модели стохастического канала связи.
5.3. Нейросетевая коррекция нелинейных искажений
5.4. Нейросетевая процедура обработки навигационных данных.
5.5. Восстановление многомерных нелинейных зависимостей по экспериментальным данным.
Заключение
Список литературы


Так при параметрической априорной неопределенности плотность вероятности рх9у известна с точностью до параметра Э. При непараметрической априорной неопределенности известны лишь наиболее общие сведения относительно статистических характеристик, не позволяющие указать параметрическое семейство, которому принадлежит рх9у. СОИ модели, в том числе предположения о виде распределений, не адекватны действительности. В таких условиях лучшие результаты могут быть получены на основе непараметрических методов обработки информации. Классические непараметрические методы основаны на использовании непараметрических оценок неизвестных распределений. При этом обработка информации осуществляется на основе оптимального по критерию минимума среднего риска решающего правила, в котором вместо неизвестной плотности вероятности используется ее непараметрическая оценка. В условиях малых выборок классические непараметрические методы становятся недостаточно эффективными. Исследования, начатые во второй половине двадцатого века, заложили фундамент теории обучения систем и теории нейронных сетей. Возможность использования искусственных нейронных сетей для обработки информации определяется их способностью к аппроксимации сложных функций. В последнее время нейронные сети находят практическое применение в различных областях. При этом большинство полученных результатов относятся к процедурам и алгоритмам параметрической оптимизации многослойных нейронных сетей. Известно, что на качество обработки информации существенное влияние оказывает структура нейронной сети. Проблема определения структуры нейронных сетей в настоящее время не имеет однозначного решения. Таким образом, необходима разработка новых методов для определения как параметров, так и структуры нейронных сетей. Большинство практически важных задач обработки информации может быть сведено к одной из следующих задач либо их совокупности классификация и восстановление зависимостей, в том числе изменяющихся с течением времени. В некоторых случаях самостоятельный интерес представляет задача оценивания плотности вероятности. Рассмотрим, следуя 7, 5, задачи обработки информации с позиций теории статистических решений. Задача классификации. Обозначим X с К,Л множество наблюдений, Э у1. Йсу множество состояний исследуемой системы и О 1,. Данные наблюдения хеХ, поступающие на вход классификатора, содержат информацию о неизвестном состоянии у У исследуемой системы либо явления. В отличие от задачи регрессии в данном случае х непрерывная, а дискретная случайные величины. Задача многоальтернативной классификации связана с формированием алгоритма обработки информации решающего правила, позволяющего на основе обработки данных наблюдения х е X принимать решения и х, причем меО. Оптимальный байесовский классификатор 5 строится из условия минимизации среднего риска 1. Здесь Рух апостериорная вероятность состояния . Ру априорная вероятность состояния у е 9 рху условная плотность вероятности, определенная на множестве наблюдений X при фиксированном состоянии у е У. Обычно в задачах классификации мощности множеств состояний и решений равны сагсУ сагс К . С использованием 1. Таким образом, на основе критерия минимума среднего риска могут быть сформированы оптимальные процедуры классификации х. Для использования таких процедур необходимо полное статистическое описание обрабатываемых сигналов. Если такие статистические характеристики неизвестны, то синтез классификатора осуществляется на основе выборочной последовательности независимых наблюдений 2 г1,. МТ, хХ, Хс Нх, АЯ. Рхатах Руру. Задача восстановления зависимостей. Пусть случайные величины х и и имеют совместное распределение непрерывного типа, с плотностью вероятности рх,у, причем X в общем случае многомерная случайная величина. Функция регрессии по X представляет собой зависимость и , которая находится из условия минимизации функционала 1. Обычно функция потерь зависит от невязки 8 иу. Подставляя и х в 1. Сх ЦУрусЬну. Решение задачи 1. Лу , ГГ . Здесь рух условная плотность вероятности, которая определяется выражением яух рх,рх. Выражение 1.