Синтез нейронных сетей с адаптивной топологией

• Автор: Жолобов, Дмитрий Александрович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Москва
• Количество страниц: 187 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ

ГЛАВА 1. НЕЙРОСЕТЕВЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ

1.1. Постановка задачи классификации и основные определения

1.2. Определение нейронной сети

1.3. Градиентные методы обучения нейронной сети

1.3.1. Выбор начальной точки.

1.3.2. Вычисление градиента функции ошибки.

1.3.3. Метод наискорейшего спуска

1.3.4. Ньютоновская стратегия

1.3.5. Метод сопряженных градиентов

1.3.6. Определение величины шага в направлении минимизации.
1.3.7. Проблемы использования классических алгоритмов
1.4. Вероятностные нейронные сети
1.4.1. Радиальная нейронная сеть.
1.4.2. Обучение сети.
1.5. Автоассоциативная сеть Хопфилда.
1.5.1. Принцип работы сети Хопфилда
1.5.2. Обучение сети Хопфилда
1.5.3. Сравнение сети Хопфилда с сетями прямого распространения
1.6. Метод опорных векторов
1.6.1. Случай линейноразделимой обучающей выборки.
1.6.2. Линейнонеразделимые обучающие выборки. Ядра
1.7. Выводы по первой главе
ГЛАВА 2. АЛГОРИТМ СИНТЕЗА НЕЙРОННОЙ СЕТИ С АДАПТИВНОЙ ТОПОЛОГИЕЙ.
2.1. Идея алгоритма синтеза нейронной сети.
2.2. Алгоритм построения первого слоя
2.3. Построение нейронов очередного слоя .
2.4. Альтернативные методы синтеза нейрона .
2.4.1. Алгоритмы, использующие меры расстояния между РКП.
2.4.2. Исследование возможности замены булевых переменных на вещественные .
2.4.3. Использование множественной регрессии для синтеза нейрона .
2.5. Применение метода ветвей и границ для синтеза сети
2.5.1. Общая постановка задачи.
2.5.2. Вычисление оценки решения.
2.5.3. Рекорды.
2.5.4. Отсеивание бесперспективных ветвей
2.5.5. Критерий оптимальности и признак недопустимости задачи
2.5.6. Расширение неполного решения и уточнение оценок
2.5.7. Разбиение множества возможных решений.
2.5.8. Алгоритм построения нейросети.
2.6. Эффект появлениялишних нейронов
2.7. Обобщение метода для задач классификации с несколькими Солее двух классами.
2.7.1. Постановка задачи.
2.7.2. Последовательный метод синтеза классификатора .
2.7.3. Параллельный метод синтеза классификатора .
2.7.4. Выбор метода синтеза классификатора .
2.8. Выводы по второй главе
ГЛАВА 3. ИНЖЕНЕРНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМА
3.1. Архитектура системы
3.2. Функциональные возможности клиентского приложения
3.2.1. Работа с обучающей выборкой.
3.2.2. Синтез нейронной сети
3.2.3. Визуализация результата.
3.3. Архитектура клиентского приложения .
3.3.1. Слой процессора нейронной сети
3.3.2. Слой исполнительной среды
3.3.3. Организация модульности алгоритмов синтеза нейрона .
3.3.4. Слой представления.
3.3.5. Архитектура базовых алгоритмов синтеза.
3.4. База данных моделей.
3.5. Компонентная версия пакета
3.6. Эксперимент на двумерных обучающих выборках .
Ц 3.7. Выводы по третьей главе
ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ АЛГОРИТМА.
4.1. Вычислительный эксперимент. Решение задачи классификации символов .
4.1.1. Постановка задачи.
4.1.2. Формирование обучающей выборки
4.1.3. Метод синтеза отдельного нейрона
4.1.4. Алгоритм I.
4.1.5. Тестирование алгоритма
4.1.6. Технология проведения эксперимента
4.1. 7. Обучение сети классическими методами.
4.1.8. Результаты. .
4.2. Использование предложенного метода для восстановления показаний отказавшего датчика в реакторе ядерной энергетической установки
4.2.1. Устройство ядерной энергетической установки.
4.2.2. Принцип построения нейросетевой системы восстановления показаний отказавшего датчика
4.2.3. Обучение сети.
4.2.4. Результаты
4.3. Выводы по четвертой главе .
ЗАКЛЮЧЕНИЕ.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ


В противном случае имеют место ошибки классификации. При ? Существует большое количество методов построения рассмотренного классификатора [4,,]. В настоящей работе исследуются методы, основанные на нейросетевых технологиях []. В различных разделах работы может использоваться измененная постановка задачи классификации, связанная со спецификой рассматриваемого алгоритма либо с особыми требованиями к исходным данным, предъявляемыми рассматриваемым алгоритмом. В частности, может рассматриваться задача с двумя классами, задача с дополнительным требованием, чтобы каждый объект относился к непустому подмножеству классов, либо чтобы это подмножество содержало в точности один класс для каждого объекта. При этом там, где это необходимо, приводятся способы сведения задачи в общем виде к частной задаче, используемой рассматриваемым алгоритмом. Существуют две основные предпосылки, приведшие к распространению нейросетевых технологий. Одной из них является теорема Стоуна-Вейерштрасса [9], согласно которой любую функцию многих переменных можно с любой точностью аппроксимировать с помощью суперпозиции линейных функций и одной нелинейной функции одного переменного. Математическая модель нейронной сети, как будет показано ниже, в точности соответствует условиям этой теоремы. Второй предпосылкой является предположение, что создание механизма, действующего по подобию нервных тканей живых организмов, позволить добиться такой же эффективности в ряде трудно формулируемых задач, таких как задачи распознавания образов, регрессии и т. Оставляя за рамками настоящей работы критику такого дуализма двух совершенно разных причин для использования нейросетевых технологий, рассмотрим, что представляет собой живая нервная ткань (по крайней мере, как считают современные биологи) и каким образом она моделируется с помощью математического аппарата, а также рассмотрим классические методы оптимизации математической модели нервной ткани. Биологический нейрон состоит из тела клетки, в котором содержится ядро [], а также большого числа отростков множества дендритов и одного аксона. Дендриты по сути дела являются сенсорами нейрона, получающими входные сигналы, а аксон единственным выходом, на который нейрон передает возбуждение. Аксон нейрона соединен с множеством дендритов соседних нейронов. Эти соединения называются синапсами. Нейромедиатор передается от нейрона к нейрону, и в конце концов сигнал доходит до мембраны в теле нейрона. Мембраны разных нейронов также имеют разные пороги срабатывания. Сигнал на выходе нейрона не имеет количественной меры он или есть (мембрана открылась), или его нет (уровень нейромедиаторов, поданных на вход нейрона оказался недостаточно высоким для открытия мембраны). В таком приближении нейрон является простейшим «реле» всей нервной системы передает возбуждение дальше, если оно оказалось достаточно сильным, либо не передает его. Также исследователями было обнаружено явление рефракции, которое позволило вычислительным нейросетевым моделям, работающим в дискретном времени, называться именно моделями нейронной сети, а не чего бы то ни было еще. После срабатывания (или несрабатывания) мембраны нейрон прекращает свою активность на некоторый' промежуток времени, через который он опять готов к получению сигнала от соседних нейронов. Рефракция обеспечивает простейшую синхронизацию распространения сигнала по нервной ткани. Для математического описания нейрона обычно отбрасываются все подробности, связанные с его биологической деятельностью, и внимание концентрируется на двух объектах собственно нейроне и синапсах, которые представляют собой связи между соседними нейронами, по которым передается сигнал. О». Питса изображен на рис. МакКаллока-Питса умножаются на коэффициенты усиления синапсов м. Рис. Питса описывается следующей формулой (1. Если положить *0=1, то запись (1. Полученная величина и подается на вход т. В модели нейрона МакКаллоха-Питса функция активации является пороговой, т. О» или «1». Эта функция обладает разрывом первого рода в районе нуля.