Разработка алгоритмов прямого синтеза аппроксимирующих искусственных нейронных сетей

• Автор: Мохов, Василий Александрович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Ростов-на-Дону
• Количество страниц: 179 с.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ

Глава 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ

НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ

1.1. Особенности реализации моделей

1.2. Многослойные нейронные сети .

1.3. Сети с радиальными базисными функциями активации

1.4. Анализ возможных перспектив реализации и применения искусственных нейронных сетей

Выводы по первой главе.

Глава 2. ЗАДАЧИ САМООРГАНИЗАЦИИ ИНС

2.1. Анализ подходов к классификации данных ИНС

2.2. Обоснование принципа работы нейросетевого классификатора
2.3. Анализ и выбор вида аппроксимирующего полинома
2.4. Математический аппарат алгоритма формирования
обучающей выборки.
2.4.1. Мера отклонения М
2.4.2. Правила расчета коэффициентов полиномов
2.4.3. Оценка погрешности нсйросетевых моделей
2.5. Алгоритм формирования обучающей выборки.
Выводы по второй главе.
Глава 3. ПРИНЦИПЫ СОЗДАНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА БАЗЕ ПРЕДЛОЖЕННОГО АЛГОРИТМА ФОРМИРОВАНИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ.
3.1. Общие принципы формирования нейросетевой модели.
3.2. Структура искусственной нейронной сети
3.3. Обучение настройка параметров искусственной нейронной сети
3.3. Разработка грамматики для формального описания И.
3.4. Анализ вариантов реализации И
3.5. Анализ возможностей реализации ИНС на базе интегральных
микросхем с программируемой логикой
Выводы по третьей главе.
Глава 4. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА
НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ
4.1. Абстрактная модель нейронной сети.
4.1.1 Аппаратная реализация и интерфейс для модели нейронной сети
4.2. Аппроксимация характеристики электромагнита.
4.3. Аппроксимация характеристик, применяемых в управлении инжекторным двигателем внутреннего сгорания.
4.4. Аппроксимация характеристики кислородного давления для сеансов ГБО
4.4.1. Лечение кислородом под повышенным давлением
4.4.2. Постановка задачи
4.4.3. План формирования модели, обработка данных и апробация программной модели ИНС
Выводы по четвертой главе
ЗАКЛЮЧЕНИЕ.
ЛИТЕРАТУРА


Количество весовых коэффициентов синаптических связей (далее весов), как правило, велико и поэтому процесс обучения представляется длительным и сложным, а также не позволяет выполнить построение модели с заранее заданной точностью (которая может быть определена только после проведения испытаний обученной сети). В процессе обучения сети происходит уточнение параметров модели, которая реализуется ИНС. Путём анализа имеющихся в распоряжении аналитика входных и выходных данных весовые коэффициенты синаптических связей (цапсе веса) и значения смещений для нейронов (далее смещения) сети (обычно в автоматическом режиме) пытаются настроить так, чтобы минимизировать разницу между желаемым сигналом и полученным на выходе смоделированным сигналом. Ошибка обучения для конкретной конфигурации ИНС определяется путём апробации всех возможных результатов наблюдений через сеть и сравнения выходных значений с целевыми. Полученные разности значений позволяют сформировать так называемую функцию ошибок (критерий качества обучения). Чаще всего в качестве такой функции берётся сумма квадратов ошибок. Заметим, что среди ИНС различают сети с линейными функциями активации (преобразования) для нейронов и нелинейными []. При моделировании нейронных сетей с линейными функциями активации нейронов, построение алгоритма, гарантирующего достижение абсолютного минимума ошибки обучения возможно, а для сетей с нелинейными функциями активации в общем случае нельзя гарантировать достижение глобального минимума функции ошибки []. При таком подходе к процедуре обучения может оказаться полезным геометрический анализ поверхности функции ошибок. Определим веса и смещения как свободные параметры модели и их общее число обозначим через каждому набору таких параметров поставим в соответствие одно измерение в виде ошибки сети. Тогда для всевозможных сочетаний весов и смещений соответствующую ошибку сети можно изобразить в А + 1 мерном пространстве, а все такие точки образуют некоторую поверхность, называемую поверхностью функции ошибок. В данной ситуации цель обучения ИНС состоит в том, чтобы найти на этой многомерной поверхности глобальный минимум. В случае линейной модели ИС и функции ошибок в виде суммы квадратов, поверхность будет представлять собой параболоид, который имеет единственный минимум и позволяет отыскать этот минимум достаточно просто. В случае нелинейной модели поверхность ошибок имеет гораздо более сложное строение и обладает рядом специфических свойств, в частности может иметь локальные минимумы, плоские участки, седловые точки и длинные узкие овраги. Очевидно, что поиск глобального экстремума для функции вышеуказанного вида может быть в рамках традиционного подхода весьма труден или вообще невозможен. При этом начало процесса сопряжено, как правило, с произвольным выбором точки на поверхности ошибок. Алгоритм выполнен таким образом, что результатом процесса должно быть отыскание глобального минимума. В конце концов, алгоритм останавливается в некотором минимуме, который может оказаться как локальным минимумом, так и глобальным. Таким образом, задача обучения нейронных сетей сводится к поиску глобального экстремума функции многих переменных. Среди алгоритмов решения этой задачи следует выделить алгоритмы сопряженных градиентов [] и Левснбсрга-Марквардта []. Однако для многих структур нейронных сетей разработаны специальные алгоритмы обучения. Наиболее популярным из них является атгоритм обратного распространения ошибки (АОР) [,]. Принципиально существует три парадигмы обучения: с учителем, без учителя и смешанная. В первом случае на каждый входной пример существует требуемый ответ. Веса настраиваются таким образом, чтобы выходные значения сети были как можно более близки к требуемым ответам. Более «жесткий» вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода ИНС, а не сами требуемые значения выхода. Для обучения без учителя не нужно знания требуемых ответов на каждый пример обучающей выборки. В этом случае происходит распределение образцов по категориям (кластерам) в соответствии с внутренней структурой данных или степенью корреляции между образцами. При смешанном обучении весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой - на основе самообучения.