Обучение нейронных сетей : Методы, алгоритмы, тестовые испытания, прим. прил.

• Автор: Гилев, Сергей Евгеньевич
• Шифр специальности: 05.13.16
• Научная степень: Кандидатская
• Год защиты: 1997
• Место защиты: Красноярск
• Количество страниц: 187 с.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ .

ГЛАВА 1. НЕЙРОСЕТИ ДВОЙСТВЕННОГО ФУНКЦИОНИРОВАНИЯ

1. 1. общие концепции.

1. 1. 1 Терминология.

1. 1. 2. Нейросети

1. 1. 3. Перечень элементов. 4

1. 2. Метод двойственности

1. 2. 1. Элементы двойственные нейронам.

1. 2. 2. Нейросети, двойственные ациклическим нейросетям . . 4

1. 2. 3. Нейросети, двойственные циклическим нейросетям 5

1. 3. Алгоритм Еогргорадаоп 5
1. 3. 1. Модельная нейросеть и метод двойственности
ДЛЯ нее
1. 3. 2. Прямое вычисление градиентов оценки
1. 3. 3. Алгоритм.
1. 3. 4. обсуждение.
ГЛАВА 2. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ НЕЙРОНОВ
2. 1. Теорема о полноте.
2. 2. Сравнение характеристических функций .
2.2. 1. Постановка машинного эксперимента. 7
2. 2. 2. Описание тестовых задач
2. 2. 3. Результаты эксперимента
2. 3. Нейросети с квадратичными сумматорами .
ГЛАВА 3. МЕТОДЫ ОБУЧЕНИЯ
3. 1. Градиентный спуск и методы его ускорения
3. 1.1. особенности задачи оптимизации, возникающей
при обучении нейронных сетей
3. 1. 2. Учет ограничений при обучении
3. 1. 3. Одномерная оптимизация.
3. 1. 4. Наискорейший спуск, случайный поиск и партан
методы.
3. 1.5. Одношаговый квазиньютоновский метод и
метол сопряженных градиентов
3. 2. Сравнение методов обучения.
3. 3. Оценка линейного разделения
3. 3. 1. Оценка для интерпретатора победитель забирает все .
3.3.2. интерпретатор линейного разделения .
3.3.3. оценка линейного разделения ЮЗ
ГЛАВА 4. ПРОГРАММНЫЕ НЕЙРОИМИТАТОРЫ .
4. 1. Базовый нейроимитатор
4. 1. 1. общее описание
4. 1.2. Интерфейс пакета
4. 1. 2. 1. файл.
4. 1. 2. 2. задачник
4. 1.2.3. Создание нейросети.
4. 1.2.4. Обучение нейросети.
4. 1. 2. 5. Средства управления процессом обучения
4. 1.2.6. Классификация объектов
4. 1. 3. оболочка
4. 2. арные классификаторы
4.3. Оценка коэффициентов чуствительности
4. з. 1. Алгоритмы оценки коэффициентов чуствительности
4. 3. 2. Использование улучшателей в пакете с
4. 3. 3. Как мы выбирали Клинтона
ЗАКЛЮЧЕНИЕ 3.
СПИСОК ЛИТЕРАТУРЫ


Разработаны оптимальные нейросетевые сетчатки для фильтрации изображений (с учетом различных требований групповой инвариантности) []. Разработаны сети гибридной архитектуры «ассоциативная память + обучаемая сеть«. Различаются ассоциативная память с импринтингом (наибольшей значимостью первых впечатлений) и равномерная. Разработан метод виртуальных частиц, имеющий те же достоинства, что и алгоритмы с использованием шума, но лишенный их недостатков. При рестартах генерируются новые сдвиги. Этот метод позволяет добиться исверхпараллелизма" в обучении нейронных сетей с использованием мощной высокопараллельной вычислительной техники, за счет которого эффективно используются все ресурсы [,3]. За прошедшее время обучение было ускорено В 0 и более раз. Выделено 4 типа устойчивости и построены стратегии обучения для выработки устойчивых навыков. Начата разработка нейрокомпьютерных спецпроцессоров, реализующих новые алгоритмы. Создано прикладное программное обеспечение на основе обучаемых нейронных сетей. Разработанные программные средства - имитаторы нейрокомпьютеров на РС - широко используются в России в научно-исследовательской и практической работе в области медицины, в задачах классификации и распознавания образов [,] и в вузах для обучения студентов новым информационным технологиям. Для обработки сигналов биолюминесцентного анализа в микропроцессор биолюминометра была введена программа фильтра, работающая по нейросетевому алгоритму (разработка и производство СКТБ "Наука" + ИБФ СО РАН, Красноярск, г. С помощью нейросетевых имитаторов на базе новых алгоритмов проводились разработки новых способов космической навигации, обрабатывалась аэрокосмичекская информация. Развиты химические приложения нейросетевых алгоритмов для предсказания каталитической активности и задач кинетики каталитических реакций [4]. Разработаны основы применения нейрокомпьютерных систем в гуманитарных областях, построена первая система политических предсказаний [7,5] (ц частности она предсказала избрание Клинтона задолго до выборов), создано семейство тестов для анализа психологической совместимости и подбора команд на принципиально новой основе - вместо объективированных рекомендаций система тестов настраивается на группу людей и нейронные сети служат как бы “носителями интуиции". Разработан комплекс обучающих программ для РС. Подготовлены нейрокомпьютерный учебник-тренажер и серия лабораторных работ для студентов []. Большая часть алгоритмических разработок реализована в серии нейроимитаторов мМи1^Ыеигоп". Представим здесь далеко не полный список описаний его применений (см. В том числе разработаны нейросетевые экспертные системы для изучения и диагностики иммунодефицитных состояний, которые применяются в нескольких клиниках и СПИД-центре [2, , 8]. Проводится опытная эксплуатация в клинике [9]. Построены и применяются в полевых исследованиях нейросетевые эксперты для определения дозы облучения по косвенным медико-биологическим показателям [2]. АЛЯ мышления - наиболее интересного вида активности нервной системы. Уже для эволюционного предшественника мышления -для поискового поведения - характерны относительно длительные периоды активности нервной системы. Их эффективность опробована в рефлексивных играх [,3,5]. При обучении непрерывно работающей сети необходимо обрывать сигналы обратного функционирования на конечной глубине по времени, возможность такого обрывания поддается строгому обоснованию лишь для некоторого класса сетей и лишь при переформулировке задачи адаптации. А именно, возникает задача оптимального (в среднем по инвариантной мере) управления системами с инвариантной мерой []. Системам с инвариантной мерой органически присуща вариативность поведения - наличие набора реакций на одну и ту же внешнюю ситуацию. Можно говорить о наличии у таких систем "внутреннего мира", структура которого определяется структурой инвариантных мер. Созданы нейронные сети Паде-аппроксимации []. Они учатся быстрее обычных сетей из сигмоидных нейронов и позволяют получать существенно более точные числовые ответы.