Оптимизация проектирования аппаратных средств нейросети на основе имитационного моделирования нейроструктур

• Автор: Севостьянов, Дмитрий Анатольевич
• Шифр специальности: 05.13.12
• Научная степень: Кандидатская
• Год защиты: 1998
• Место защиты: Воронеж
• Количество страниц: 115 с.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
1. ПУТИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОАВНИЯ СИСТЕМ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ
1.1. Задачи имитационного моделирования и оптимизации в процессе автоматизированного проектирования структуры нейронных сетей
1.1.1. Анализ задач, решаемых с помощью искусственных нейронных сетей
1.1.2. Особенности проектирования нейросетей, требующие учета при разработке нейрочипов
1.2. Анализ средств моделирования
1.3. Анализ структур, типов и математических моделей нейросетей
1.3.1. Модель нейронного узла
1.3.2. Модель нейронной сети с одним слоем
1.3.3. Модель ассоциативной памяти
1.3.4. Модель многослойной нейронной сети
1.3.6. Разработка комплексной модели нейронной сети
1.4. Цель и задачи исследования
1.5. Основные выводы главы
2. РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ОПТИМАЛЬНОЙ НАСТРОЙКИ ПАРАМЕТРОВ МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ
2.1. Разработка структуры средств автоматизированного формирования структуры нейронной сети
2.2. Разработка комплексной имитационной модели на основе вложенности моделей и алгоритмов
2.3. Оптимизация настройки параметров нейронной сети

2.3.1. Алгоритм настройки параметров сети, основанный на методе градиентного спуска
2.3.2. Модификации градиентного метода, использующие адаптивные технологии
2.4. Основные выводы главы
3. ОРГАНИЗАЦИЯ БИБЛИОТЕКИ НЕЙРОННЫХ МОДУЛЕЙ. АЛГОРИТМИЗАЦИЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ
3.1. Организация библиотеки нейронных модулей
3.1.1. Применение объектно-ориентированного подхода к разработке библиотеки нейромодулей
3.1.2. Базовые абстрактные классы
3.2. Алгоритм настройки весовых коэффициентов базовых объектов библиотеки нейромодулей
3.2.1. Алгоритм настройки весовых коэффициентов нейронного узла
3.2.2. Алгоритм настройки весовых коэффициентов для многослойной нейронной сети
3.3. Алгоритмизация процесса моделирования нейронных сетей произвольной структуры
3.4. Основные выводы главы
4. РЕАЛИЗАЦИЯ ПРОГРАММНО-МЕТОДИЧЕСКОГО КОМПЛЕКСА ПРОЕКТИРОВАНИЯ И ОПТИМАЛЬНОЙ НАСТРОЙКИ НЕЙРОСЕТЕЙ
4.1. Структура программного и информационного обеспечения
4.2. Использование разработанных средств для применения в учебном
процессе
4.2.1. Моделирование нейронной сети, состоящей из ассоциативных
узлов

4.2.2. Моделирование нейронной сети, состоящей из узлов с пороговой функцией возбуждения
4.2.3. Моделирование нейронной сети, реализующей алгоритм обратного распространения ошибки
4.3. Основные выводы главы
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
Приложение
Приложение
Приложение

сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана /21/ для программирования сети. Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа «все на всех» (полносвязанная сеть) характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк /71/ показали, как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Достоинство такого подхода состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи.
Для решения проблемы ложных минимумов необходимо использовать нейронные узлы с сигмоидальной функцией возбуждения.
Каждое состояние сети характеризуется определенным значением функции консенсуса /5/ (аналог функции энергии), часто называемой также «белым шумом». Максимум функции консенсуса соответствует оптимальному решению задачи. Эти методы также обеспечивают решение проблемы аппаратного обучения.
Ключевым моментом к обеспечению выхода системы из ложных локальных минимумов является использование «шума»:
р(1)=—1-77.Л = 1Х-Т--Г.
1 + ет т
(1.11)