Разработка методов и пакета прикладных программ для формирования и обучения нейронных сетей, использующих однонаправленную и полносвязную архитектуру

• Автор: Эйгин, Юрий Александрович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Москва
• Количество страниц: 172 с. : ил. + Прил. (174 с.: ил.)

Введение.

Глава 1. Исследование существующих моделей НС.

1.1. Обзор основных подходов к моделированию НС.

1.2. Исследование основных параметров НС

1.3. Однонаправленные многослойные НС.

1.4. Исследование градиентных алгоритмов обучения однонаправленных и иолносвязных НС.

1.5. Анализ коэффициентов обучения

1.6. Исследование эвристических методов обучения НС.

1.7. Сравнение эффективности алгоритмов обучения

1.8. Выводы.

Глава 2. Многослойная однонаправленная НС.

2.1. Основные типы задач, решаемые многослойными однонаправленными НС
2.2. Многослойная однонаправленная НС с линейной активационной функцией
2.3. Многослойная однонаправленная НС с нелинейными активационными функциями
2.4. Алгоритм обучения НС по методу обратного распространения ошибки и возможность его оптимизации
2.5. Выводы.
Глава 3. Разработка программного комплекса для тестирования эффективности методов формирования и обучения однонаправленных НС.
3.1. Описание структуры программного комплекса
3.2. Классы обработки данных
3.3. Класс формирования и обучения НС
3.4. Классы управления процессом обучения НС.
3.5. Выводы
Глава 4. Результаты экспериментальной части исследования
4.1. Основа экспериментальной работы
4.2. Проведение экспериментальной части исследования для задач прогнозирования.
4.3. Проведение экспериментальной части исследования для задач распознавания.
4.4. Вопрос практического применения разработанного программного комплекса.
4.5. Выводы.
Заключение
Список литературы


Вблизи локального минимума показатель момента, не связанный с градиентом, может вызвать слишком большое изменение весовых коэффициентов, приводящее к увеличению значения целевой функции и к выходу из «зоны притяжения» этого минимума. При малых значениях градиента показатель момента начинает доминировать в выражении (1. Awk, которое соответствует увеличению значения целевой функции, позволяющему выйти из зоны локального минимума. Однако показатель момента не должен полностью доминировать на протяжении веет процесса обучения, поскольку эго привело бы к нестабильности алгоритма. Для предотвращения такого избыточного доминирования, значение целевой функции Е контролируется так, чтобы допускать его увеличение только в ограниченных пределах, например не более 4%. При таком подходе, если на очередных (? Е(к + )<ЪЩ), то изменения игнорируются и считается, что (^~л'ы) = 0. Следует подчеркнуть, что подбор величины коэффициента момента является непростым делом и требует проведения большого количества экспериментов, имеющих целью выбрать такое значение, которое наилучшим образом отражало бы специфику решаемой проблемы []. Алгоритм переменной метрики В мегоде переменной метрики используется квадратичное приближение функции E(w) в окрестности полученного решения wk. Если в формуле (1. Е(Щ +Рк) = ЯК)+*КУРк+“РТкНК)Рк + ) - (1. Для достижения минимума функции (1. Рк-^ = 0. Формула (1. Из него следует, что для определения этого направления необходимо в каждом цикле вычислять значение градиента g и гессиана Н в точке известного (последнего) решения XVк. Формула (1. По этой причине в имеющихся реализациях алгоритма, как правило, вместо точно определенного гессиана Н{уук) используется его приближение 0(XVк). Одним из наиболее популярных считается метод переменной метрики []. В соответствии с этим методом на каждом шаге гессиан или обратная ему величина, полученная на предыдущем шаге, модифицируется на величину некоторой поправки. V 9 то в соответствии с формулой Бройдена-Флетчера-Гольдфарба-Шенно (англ. Ьvk) + H(wk)pk=0 . Г'яЮ . Г1УкАГк у! В другом известном алгоритме Девидона-Флетчера-Пауэлла (англ. Ук,гкг! К -К-1 +~Н~- г . В качестве начального значения обычно принимается К0=1, а первая итерация проводится в соответствии с алгоритмом наискорейшего спуска. При начальном значении У0~ 1 и при использовании направленной минимизации на каждом шаге оптимизации можно обеспечить положительную определенность аппроксимированной матрицы гессиана. Направленная минимизация необходима при реализации как стратегии ВБОБ, так и В? Р, причем в соответствии с проведенными тестами метод ВБОБ менее чувствителен к различным погрешностям вычислительного процесса. По этой причине, несмотря на несколько большую вычислительную сложность, метод ВРвБ применяется чаще, чем В? Метод переменной метрики характеризуется более быстрой сходимостью, чем метод наискорейшего спуска. Кроме того, факт положительной определенности гессиана на каждом шаге итерации придает уверенность в том, что выполнение условия g(wk) = 0 действительно гарантирует' решение проблемы оптимизации. Именно этот метод считается в настоящее время одним из наиболее эффективных способов оптимизации функции нескольких переменных. Его недостаток состоит в относительно большой вычислительной сложности (связанной с необходимостью расчета в каждом цикле п2 элементов гессиана), а также в использовании значительных объемов памяти для хранения элементов гессиана, что в случае оптимизации функции с большим количеством переменных может стать серьезной проблемой. Г1о этой причине метод переменной метрики применяется для не очень больших (десятки нейронов) НС. НС, содержащей не более тысячи взвешенных связей []. Алгоритм Левенберга-Марквардта При использовании алгоритма Левенберга-Марквардта [] точное значение гессиана Н(м>) в формуле (1. Зе. Т е{уг) ^ (1. ОМ=[А*))гЛм>)+М9 (1. Щы) обозначены компоненты гессиана Я(н'), содержащие высшие производные относительно Сущность подхода Левенберга-Марквардта состоит в аппроксимации Я(ч>) с помощью регуляризационного фактора у1 , в котором переменная V, называемая параметром Левенберга-Марквардта, является скалярной величиной, изменяющейся в процессе оптимизации.