Конструктивное обучение алгебраических ΣП-нейронных сетей и корректные ΣП-расширения

• Автор: Шибзухов, Заур Мухадинович
• Шифр специальности: 05.13.17
• Научная степень: Докторская
• Год защиты: 2007
• Место защиты: Нальчик
• Количество страниц: 156 с. : ил.

Оглавление
ВВЕДЕНИЕ

1. Краткое введение и исторический обзор

Обучение Енейрона б

Многослойные искусственные нейронные сети из искусственных Енейронов.

Конструктивные методы обучения сетей из Енейронов

ЕПнейроны

Алгебраические ЕПнейроны

Функциональноалгебраические ЕПнейроны

Алгебраические ЕПнейромодули

ЕФнейроны и ЕФнейромодули

Рекуррентные ЕПнейроны и ЕПнейромодули
Каскадные сети из алгебраических ЕПнейронов.
Многослойные сети из алгебраических ЕПнейронов.
Корректные алгебраические ЕЯрасширения.
Последовательные ЕФрасширения.
2. Конструктивный метод обучения искусственных нейронных сетей
3. Архитектуры конструктивных нейронных сетей
Конструктивный нейрон
Конструктивный рекуррентный нейрон
Параллельный слой независимо функционирующих нейронов
Конструктивный нейромодуль
Конструктивный нейромодуль с обратными связями
Каскадная цепочка нейронов
Каскадная цепочка нейромодулей ч
Многослойная нейронная сеть
4. Краткий обзор содержания и основных результатов диссертационной работы Основные результаты диссертации выносимые на защиту
Глава 1. ПРОСТЫЕ ЕФЕЯСЕТИ
1. Алгебраический ЕФнейрон
1.1. Алгебраический Енейрон
1.2. Алгебраический ЕФнейрон
1.3. Треугольно упорядоченные последовательности функций
1.4. Постановка задачи обучения с учителем ЕФнейрона
1.5. Рекуррентные последовательности ЕФформ и ЕФнейронов
1.6. Некоторые семейства условно конструктивных классов допустимых
функций.
1.7. Методы построения существенных мультииндексов
4 2. Алгебраические ЕПнейроны
2.1. Алгебраический ЕПнейрон
2.2. Структура ЕПнейрона
3. Обобщенный ЕПнейрон
3.1. Упорядоченные по нулям последовательности разреженных векторов
3.2. Треугольноупорядоченные последовательности произведений
3.3. Метод построения существенных мультииндексов
3.4. Рекуррентный метод конструктивного обучения с учителем ЕПнейрона
4. Алгебраический ЕПнейрон
4.1. упорядоченные последовательности векторов.
4.2. Методы построения существенных мультииндексов
4.3. Треугольно упорядоченные последовательности произведений параметризованных скалярных функций.
4.4. Рекуррентный метод обучения с учителем ЕПнейрона
5. Алгебраический сплайновый ЕПнейрон
5.1. упорядоченные последовательности векторов
5.2. Треугольно упорядоченные пары последовательностей
5.3. Треугольно упорядоченные последовательности функций
5.4. Рекуррентный метод обучения алгебраического ЕПнейрона
6. Метод обучения обобщенных функций полиномиального типа
7. Алгебраческие ЕПнейромодул и
7.1. Алгебраический ЕФнейромодуль.
7.2. Рекуррентный метод обучения с учителем ЕФнейромодулей
7.3. ЕПнейромодули
7.4. Рекуррентный метод обучения с учителем ЕПнейромодулей
Глава 2. ПРОСТЫЕ РЕКУРРЕНТНЫЕ 2Ф2ПСЕТИ
1. Рекуррентный ЕПнейрон
2. Обучение с учителем рекуррентного алгебраического ЕПнейрона
3. Рекуррентный сплайновый ЕПнейрон
3.1. Обучение с учителем рекуррентного сплайнового ЕПнейрона
4. Рекуррентный ЕФнейрон
4.1. Обучение с учителем рекуррентного ЕФнейрона
5. Рекуррентный ЕПнейромодуль
5.1. Обучение с учителем рекуррентного ЕИнейромодуля
6. Рекуррентный ЕФнейромодуль
6.1. Обучение с учителем рекуррентного ЕФнейромодуля
Глава 3. КАСКАДНЫЕ 2Ф2ПСЕТИ
1. Каскадная цепочка ЕФнейронов
1.1. Конструктивный метод обучения с учителем каскадной цепочки ЕФ
нейронов
2. Каскадная цепочка ЕПнейронов
3. Каскадная цепочки ЕПнейронов с фиксированной глубиной связей
3.1. Рекуррентный метод конструктивного обучения с учителем
4. Последовательные цепочки ЕПнейромодулей
Глава 4. МНОГОСЛОЙНЫЕ ГЯСЕТИ
1. Конструктивный метод обучения многослойных сетей из ЕПнейронов
1.1. Слой из ЕНнейронов с логическими входами и логическим выходом
Глава 5. КОРРЕКТНЫЕ ЯПРАСШИРЕНИЯ ОДНОГО ДОПУСТИМОГО КЛАССА АЛГОРИТМОВ
1. ЕПрасширения
Выводы.
2. Последовательности ЕФрасширений множеств некорректных распознающих алгоритмов
Выводы.
Выводы
Приложения
Приложение 1. Примерная классификация алгебраических ЕПнейронов
Литература


Для решения задачи разделения М М 2 классов используется М нейронов так, что если вход принадлежит 6ому множеству, то 6ый элемент имеет на выходе 1, а все остальные имеют на выходе 0. Нейроны можно обучать независимо, однако при этом не учитываются взаимные зависимости между различными разделяемыми множествами. Показано в , что данный вид обучения обладает потенциальным превосходством над независимым обучением М нейронов, в котором каждый ый Енейрон должен отделять 6ый класс от всех остальных. Многослойные искусственные нейронные сети из искусственных Енейронов. Простота модели Енейрона является причиной его слабости. Минский и Пейперт продемонстрировали его ограничение на примере задачи, связанной с представлением логической функции ХОК. Стало ясно, что для решения широкого круга задач классификации необходимо использовать многослойные сети из таких нейронов. Так стали использовать многослойные НС, в которых каждый слой состоит из Енейронов, а связанными между собой по входам и выходам являются только нейроны из разных слоев. Показано, что в этой модели возможно представление нелинейных преобразований из достаточно широкого класса 4, , , . В доказан нейросетевой аналог теоремы СтоунаВейерштрасса о том, что при помощи композиций произвольной нелинейной непрерывной скалярной функции одной переменной и аддитивного суммирования можно аппроксимировать произвольную непрерывную функцию многих переменных на компактном множестве. Для обучения таких сетей было разработано семейство алгоритмов, основанных на методе обратного распространения ошибки и различных его вариациях. Все они являются разновидностями методов минимизации функционала ошибки или оценки функционирования сети. Несколько исследователей Дрейфус 5, Брайсон и Хо 2 и Вербос повидимому, независимо друг от друга предложили первые алгоритмы обучения многослойных нейронных сетей. Все эти алгоритмы основаны на методе градиентного спуска. Алгоритм обратного распространения Ьаскргора5аИоп, предложенный Румельхартом и компанией , сделали данный подход наиболее популярным в сообществе исследователей по искусственным нейронным сетям. Было предложено целое семейство алгоритмов типа обратного распространения , , ВаскРгор , , ОшскРгор 8, РРРОР , БирегБАВ и другие его модификации. Успех метода обратного распространения привел к росту активности ученых и практиков по теоретическому изучению и практическому применению искусственных нейронных сетей. Об этом свидетельствуют конференции и журналы, посвященные исключительно данной теме в течение последних двух десятилетий, и также большое разнообразие примеров успешного практического применения. Все эти алгоритмы относятся к классу неконструктивных алгоритмов обучения, которые предполагают, что количество слоев сети и ее топология связей является известной. Потому они содержат в себе ряд ограничений, а их применение связано с рядом трудностей. Количество скрытых слоев, количество нейронов в каждом слое является заданным и остается неизменным в процессе обучения, что порождает дополнительную проблему нахождения подходящей топологии НС для решения данной задачи. К сожалению, до сих пор не найдено эффективного способа определения оптимальной топологии обучаемой НС. Как правило, она находится на основе метода проб и ошибок. Процедура адаптации весов нейрона на основе обратного распространения ошибки является дорогостоящей с вычислительной точки зрения, т. Все алгоритмы основываются на принципе минимизации ошибки на базе методов типа градиентного спуска и поэтому наследуют все его недостатки такие, как проблема прохождения локальных минимумов в пространствах большой размерности, невысокая скорость сходимости. Когда трудно заранее оценить сложность необходимой структуры НС, обучаемой по методу обратного распространения, на практике сначала обучают сеть с заведомо избыточной структурой связей между нейронами, которая бы позволила успешно обучить НС для решения задачи. Затем применяют процедуру прореживания, в основу которой снова полагают тот или иной градиентный метод минимизации некоторого функционала качества.