Математическое моделирование процессов генетического поиска для повышения качества обучения нейронных сетей прямого распространения

• Автор: Воронкин, Роман Александрович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2004
• Место защиты: Ставрополь
• Количество страниц: 237 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПРОЦЕССА ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ С ПОМОЩЬЮ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ

1.1 Анализ методов обучения нейронных сетей прямого распространения

1.2 Генетические алгоритмы в качестве метода эволюционного моделирования при решении задач оптимизации.
1.3 Влияние отбора и проблема сходимости генетических алгоритмов к глобальным экстремумам целевых функций
Выводы.

2 ПУТИ ПОВЫШЕНИЯ СКОРОСТИ И УСТОЙЧИВОСТИ РАБОТЫ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ

2.1 Метод увеличения скорости генетического кодирования линейным кодом .

2.2 Мажоритарный генетический алгоритм в качестве модели эволюции диплоидных популяций
Выводы.
3 АНАЛИЗ СВОЙСТВ ГЕНЕТИЧЕСКИХ ОПЕРАТОРОВ МАЖОРИТАРНОГО ГЕНЕТИЧЕСКОГО АЛГОРИТМА
3.1 Оператор кроссинговера в мажоритарном генетическом алгоритме
3.1.1 Математическая модель оператора кроссинговера мажоритарного генетического алгоритма
3.1.2 Оценка деструктивных свойств оператора кроссинговера мажоритарного генетического алгоритма
3.2 Оператор мутации в мажоритарном генетическом алгоритме .
3.2.1 Математическая модель оператора мутации мажоритарного генетического алгоритма .
3.2.2 Оценка деструктивных свойств оператора мутации мажоритарного генетического алгоритма
3.2.3 Выбор оптимального алгоритма процесса протекания мутации на основе анализа вероятностей апостериорных гипотез .
3.2.4 Математическая модель процесса несвободной мутации в мажоритарном генетическом алгоритме
Выводы.
4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МАЖОРИТАРНОГО ГЕНЕТИЧЕСКОГО АЛГОРИТМА
4.1 Характеристики популяции, определяющие меру сходимости эволюционного процесса .
4.2 Решение задач глобальной оптимизации с помощью мажоритарного генетического алгоритма.
4.3 Обучение искусственных нейронных сетей прямого распространения с помощью мажоритарного генетического алгоритма
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ


Лично автору принадлежат методы определения центроидов нейронов скрытого слоя и настройки весов и смещений нейронов выходного слоя радиальной базисной нейронной сети, используемой для кодирования/декодирования генетической информации, разработка математической модели доминирования генов и построение на ее основе генетического алгоритма, для которого автором произведена разработка математических моделей выполнения генетических операторов и оценка их деструктивных свойств. Апробация работы. Основные результаты докладывались на научно-методической конференции преподавателей и студентов «Университетская наука — региону» (Ставрополь, ), на V Международной научно-практической конференции «Информационная безопасность» (Таганрог, ), на Междисциплинарной (медицина, биология, радиоэлектроника, химия, математика, информатика, педагогика . Новые биокибернетические технологии века для диагностики и лечения заболеваний человека» (Петрозаводск, ), на IV Международной научной конференции «Интеллектуальные и многопроцессорные системы— » (п. Дивноморское, ), где доклад по теме диссертационных исследований был отмечен премией как один из лучших докладов, на III Санкт-Петербургской межрегиональной конференции «Информационная безопасность регионов России (ИБРР—)» (Санкт-Петербург, ). Публикации. По теме диссертации опубликовано печатных работ из них 7 научных статей. Практическая значимость работы подтверждена 3 актами реализации. Автор глубоко благодарен научному руководителю кандидату технических наук, доценту Александру Федоровичу Чипиге за постановку задачи и постоянное внимание к работе. Проблема повышения качества обучения нейронных сетей прямого распространения представляет собой широкую сферу исследований современной науки. В последние годы наблюдается повышенный интерес к нейронным сетям, которые нашли применение в самых различных областях человеческой деятельности — бизнесе, медицине, технике. Нейронные сети используются при решении задач прогнозирования, классификации, управления. Нейронные сети — исключительно мощный метод имитации процессов и явлений, позволяющий воспроизводить чрезвычайно сложные зависимости. Нейронные сети (НС) по своей природе являются нелинейными, в то время как на протяжении многих лет использовался линейный подход. Во многих случаях НС позволяют преодолеть «проклятие размерности», обусловленное тем, что моделирование нелинейных явлений в случае большого числа переменных требует огромного количества вычислительных ресурсов. Нейронные сети используют механизм обучения. Пользователь НС подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически настраивает параметры сети. Искусственные нейронные сети составлены из множества простых элементов, действующих параллельно. Функция нейронной сети в значительной степени определяется связями между элементами. Нейронную сеть можно обучать для выполнения конкретной функции, регулируя значения коэффициентов (весов) связи. Обычно НС настраиваются или обучаются так, чтобы конкретные входы преобразовывались в заданный целевой выход. Сеть настраивается (обучается), основываясь на сравнении сигналов выхода и цели до тех пор, пока выход сети не будет соответствовать цели []. Нейронные сети обучаются выполнять сложные функции в различных областях приложений, включая распознавание образов, идентификацию, классификацию объектов, распознавание речи, системы технического зрения и системы управления. В этих случаях применяются НС достаточно простой структуры, к которым также относятся нейронные сета прямого распространения, однако они являются мощным инструментом при решении прикладных задач. Одними из методов обучения нейронных сетей прямого распространения являются методы, использующие механизмы генетического поиска, которые построены по аналогии между процессами обучения и биологической адаптации [,,]. Использование механизмов генетической эволюции для обучения нейронных сетей кажется естественным, поскольку модели нейронных сетей разрабатываются по аналогии с мозгом и реализуют его особенности, появившиеся в результате эволюции. Генетические алгоритмы особенно эффективны в поиске глобальных минимумов адаптивных рельефов, так как ими исследуются большие области допустимых параметров нейронных сетей.