Синтез нейронной сети под заданное приложение

• Автор: Маркин, Максим Игоревич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2001
• Место защиты: Москва
• Количество страниц: 110 с.

1 Задача синтеза НС под заданное приложение

2 Актуальность темы

3 Цель работы

4 Методы решения

5 Структура работы

6 Благодарности

1 СУЩЕСТВУЮЩИЕ МЕТОДЫ СИНТЕЗА НС

1.1 Обучение НС

1.1.1 Формулировка задачи

1.1.2 Обратное распространение ошибки

1.1.3 Эволюционные алгоритмы и алгоритмы случайного поиска

1.1.4 Г ибридные методы
1.1.5 Сравнение методов обучения НС
1.2 Выбор архитектуры НС
1.2.1 Формулировка задачи
1.2.2 Классификация методов выбора архитектуры НС
1.2.3 Статистический подход
1.2.4 Конструктивные методы
1.2.5 Методы сокращения
1.2.6 Эволюционные алгоритмы и алгоритмы случайного поиска
1.2.7 Сравнение методов выбора архитектуры НС
1.3 Выводы
2 ВЫБОР КЛАССА НС
2.1 Задача выбора класса НС
2.2 Основания для построения класса КНС
2.3 Формальная модель КНС
2.4 Свойства КНС
2.5 Эффективность КНС в задачах аппроксимации непрерывных функций
3 ПОСТАНОВКА ЗАДАЧИ СИНТЕЗА КНС
3.1 Задача синтеза КНС
3.2 Анализ задачи
4 РЕШЕНИЕ ЗАДАЧИ СИНТЕЗА КНС
4.1 Декомпозиция задачи
4.2 Выбор архитектуры КНС
4.2.1 Алгоритм имитации отжига
4.2.2 Настройка алгоритма
4.3 Обучение КНС
4.3.1 Подход к решению задачи
4.3.2 Вычисление частных производных
4.3.3 Алгоритм ЛевенбергаМарквардта
4.4 Экспериментальное исследование алгоритма синтеза КНС
5 ПОВЫШЕНИЕ ВЫЧИСЛИТЕЛЬНОЙ ЭФФЕКТИВНОСТИ
5.1 Метод повышения вычислительной эффективности
5.2 Метрика в пространстве архитектур КНС
5.3 Оценка расстояния между архитектурами КНС
5.3.1 Постановка задачи
5.3.2 Редукция задачи
5.3.3 Алгоритм вычисления расстояния
5.3.4 Алгоритм сопоставления внутренних нейронов
5.3.5 Критерий выбора сопоставляемых нейронов
5.3.6 Настройка параметров
5.3.7 Сложность и оптимальная организация вычислений
5.3.8 Экспериментальное исследование алгоритма вычисления расстояния
5.3.9 Оценка пригодности алгоритма вычисления расстояния
5.4 Оценка аппроксимационной способности АС КНС
5.4.1 Постановка задачи
5.4.2 Модель зависимости АС схожих архитектур КНС
5.4.3 Решение задачи
5.4.4 Алгоритм оценки АС
5.4.5 Сложность алгоритма оценки АС
5.4.6 Экспериментальное исследование алгоритма оценки АС
5.5 Модификация алгоритма синтеза КНС
5.5.1 Структура алгоритма
5.5.2 Анализ свойств модифицированного алгоритма
5.5.3 Экспериментальное исследование модифицированного алгоритма
5.6 Выводы
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА


Долгое время нс существовало теоретически обоснованного и вычислительно эффективного алгоритма для обучения многослойных НС 5. Первым практически применимым алгоритмом обучения таких НС являлся алгоритм обратного распространения ошибки i. Считается, что первым этот алгоритм представили Румельхарт и Хинтон в работе , однако теоретическая база, достаточная для реализации этого алгоритма, может быть найдена и в более ранних работах ,9,7. Алгоритм обратного распространения ошибки представляет собой итеративную процедуру, на каждом шаге которой анализируется текущая величина функции ошибки сети и значения всех весов подвергаются коррекции с целью уменьшения этой ошибки. Пакетный способ обучения вполне соответствует классическим алгоритмам локальной оптимизации в предположении, что целью является минимизация ошибки сети на всей выборке. При пошаговом обучении на разных итерациях минимизируются, в общем, разные функции. Пакетное обучение обеспечивает более быструю и надежную сходимость процесса обучения. Преимуществом пошагового обучения является возможность обучения НС на непрерывном потоке данных например, с аппаратного датчика. В основе алгоритма обратного распространения ошибки лежит методика, позволяющая быстро вычислять вектор частных производных градиент сложной функции многих переменных, если структура этой функции известна. В качестве такой функции в алгоритме рассматривается функция ошибки сети , и учитывается тот факт, что структура функции полностью определяется архитектурой НС, которая считается известной.