Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах

• Автор: Плотникова, Наталья Павловна
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Саранск
• Количество страниц: 137 с. : ил.

Оглавление
Введение

1 Искусственные нейронные сети и массивно-параллельные

вычисления
1.1 Современное состояние науки в области исследования искусственных нейронных сетей и массивно-параллельных вычислений

1.2 Анализ имеющихся средств моделирования искусственных нейронных сетей

1.3 Модель акторов

1.4 Язык программирования Erlang и фреймворк ОТР

1.5 Выводы по первой главе

2 Асинхронная распределенная модель многослойной

нейронной сети
2.1 Обобщенная многоуровневая модель многослойной
нейронной сети
2.2 Обоснование выбора алгоритма «упругого» обратного распространения ошибки (RPROP)
2.3 Асинхронная распределенная модель многослойной
нейронной сети (алгоритм обучения RPROP)
2.4 Асинхронная распределенная модель многослойной
нейронной сети с диспетчеризацией (алгоритм обучения RPROP)
2.5 Применение метода гравитационного поиска для обучения многослойного персептрона
2.6 Асинхронная распределенная модель многослойной
нейронной сети (алгоритм обучения на основе метода гравитационного поиска)
2.7 Архитектура программной системы моделирования искусственных нейронных сетей
2.8 Выводы по второй главе

3 Тестирование разработанной системы моделирования
искусственных нейронных сетей
3.1 Условия, средства и критерии тестирования
3.2 Результаты исследования зависимости среднего времени обучения от объема обучающей выборки
3.3 Результаты тестирования асинхронной распределенной
модели многослойной нейронной сети (алгоритм обучения 11Р1ЮР)
3.4 Результаты тестирования асинхронной распределенной
модели многослойной нейронной сети с диспетчеризацией (алгоритм обучения КРШЭР)
3.5 Сравнение результатов тестирования моделей с
диспетчеризацией и без диспетчеризации
3.6 Результаты исследование зависимости среднего времени обучения от количества наборов весовых коэффициентов в
алгоритме гравитационного поиска
3.7 Результаты тестирования асинхронной распределенной
модели многослойной нейронной сети (алгоритм гравитационного поиска)
3.8 Сравнение результатов тестирования моделей без
диспетчеризации для алгоритмов ЯРЯОР и гравитационного
поиска
3.9 Выводы по третьей главе
4 Применение разработанной системы для решения задачи
проектирования композиционных материалов
4.1 Постановка задачи проектирования композиционных
материалов
4.2 Архитектура нейронных сетей, используемых для решения задач проектирования композиционных материалов
4.3 Результаты применения разработанной системы для решения задачи проектирования композиционных материалов
4.4 Выводы по четвертой главе

Заключение
Список принятых сокращений
Словарь терминов
Список литературы
Приложения
А Акт о внедрении результатов исследования на ООО «Завод
герметизирующих материалов», г. Дзержинск

где у а,к ~ фактический выходной сигнал нейрона г, ут ~ желаемый выходной
сигнал нейрона I = 1,Л/, - число нейронов выходного слоя, к = 1,1 - размер обучающей выборки.
Коррекция весовых коэффициентов сети осуществляется в соответствии с формулой:
WM=Wk-AfT:

где Щц - весовые коэффициенты сети на текущем шаге, 1¥к+1 - весовые коэффициенты сети на следующем шаге, А]¥ - матрица приращений весовых коэффициентов. Приращение весовых коэффициентов вычисляется на каждом шаге следующим образом:
0F ЭЕ
пгіп(Д 0-1)-/7 + ,Дюах), если (*-1)-- (f) > 0;
0Wjj 0Wy
0F 0F
тах(Десли (*-1)---------------(0 < 0.
0Wij dw..
Awv = ~Aij ■ sisn (д—(0).

где t - текущая эпоха обучения; sign - операция взятия знака. Начальные величины приращения Ду(0) выбираются случайно из промежутка (0; 1). Параметры Дтіп = 10'6 и Дтах = 50. Константы г|+ = 1.2, ц- = 0.5 [46 ,125].
В процессе выбора подходящего алгоритма было проведено исследование существующих наиболее распространенных алгоритмов обучения многослойного персептрона. Сравнительное исследование проводилось для алгоритмов градиентного спуска, сопряженных градиентов, наискорейшего спуска, Левенберга-Марквардта, Левенберга-Марквардта с байесовской регуляризацией параметров обучения, RPROP, генетического алгоритма [60, 101, 112, 117, 126, ].