Модели разобучения в аттракторных нейронных сетях

• Автор: Шувалова, Ирина Борисовна
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2001
• Место защиты: Москва
• Количество страниц: 137 с. : ил

Оглавление
Введение

Глава 1. Обзор литературы по моделям

разобучения

1.1 Модели автоассоциативной памяти

как динамические системы

1.2 Введение в модели разобучения

1.3 Сходящийся алгоритм разобучения

локальных нолей

1.4 Краткие ныводы

Глава 2. Исследование детерминистического

параллельного разобучения
2.1 Обобщенное правило Хебба изучение
областей притяжения
2.1.1 Уравнение эволюции для подрешеточной намагниченности
2.1.2 Случай двух прототипов р 2
2.1.3 Случай трех прототипов р 3
2.2 Концепция детерминистического параллельного
ралобучения ДПР
2.3 Вывод системы уравнений ДПР
2.4 Решение системы уравнений ДПР случай трех
прототипов р 3
2.4.1 Запоминание прототипов с различными весами
2.4.2 Наличие перекрытия между двумя прототипами
2.5 Краткие выводы
Глава 3. Исследование параллельного разобучения
с температурой
3.1 Вероятностная модель информационного набора
прототипы с временной корреляцией
3.2 Исследования по обобщенному правилу Хебба
случай трех прототипов р 3
3.2.1 Точечные аттракторы динамики
нейронов
3.2.2 Бифуркация рождения нетривиального решения
3.3 Концепция параллельного разобучения
с температурой ПРТ
3.4 Результаты численного анализа системы
уравнений ПРТ
3.5 Краткие выводы
Глава 4. Эффективный алгоритм разобучения
локальных полей
4.1 Постановка задачи
4.2 Формулировка алгоритма
4.3 Результаты численных экспериментов
4.4 Краткие выводы
Глава 5. Разобучение и
5.1 Фрейд, странные вторжения и гипотеза
разобучения Крика и Мнтчисона
5.2 Гипотеза о закреплении следов
кратковременной памяти в
5.3 Краткие выводы
Глава 6. Разобучение локальных полей
вероятность успешного сценария ИЗ
6.1 Постановка задачи
6.2 Основной результат и обсуждение
Заключение
Литература


С.А. Семеновым была предложена концепция парылельного разобучения, которая, как было показано, в пределе больших систем допускает аналитическое описание н терминах параметров порядка []. Параллельное разобучение может рассматриваться как предел обычного алгоритма разобучения, когда размер шага алгоритма и интервал между шагами стремится к нулю. Этот процесс использует знание общих свойств системы, таких как структура локальных минимумов и размеры их областей притяжения. Недавно Л. К). Плахивым и С. А. Семеновым []-[] был предложен алгоритм разобучения локальных полей, который при некоторых условиях сходится к матрице проектирования на линейное подпространство, натянутое на вектора-прототипы []-[]. Условия сходимости получили рассмотрение не в полной мерс, в частности, остался невыясненным вопрос о вероятности сходимости для случайных прототипов. Обобщение аналитического аппарата теории аттракторных нейронных сетей на случай параллельного разобучения. Анализ базовых механизмов разобучения. Поиск новых более эффективных алгоритмов разобучения. Определение условий сходимости алгоритма разобучения локальных полей для случайных прототипов. При этом будут частично разрешены указанные выше проблемы теории. Результаты диссертации представляют собой последовательное развитие теории аттракторных нейронных сетей. Дли их получения использовались методы теории динамических систем, теории вероятности и численного моделирования, которые были применены к сложным многокомпонентным динамическим системам - моделям разобучения. О структуре диссертационной работы. Диссертация состоит из введения, б глав, разбитых на подраздел, заключения, приложения, рисунков, б таблиц и списка литературы из -1 наименований. Обшнй объем работы - 7 страницы машинописного текста. В первой главе диссертации вводится необходимая терминология и обсуждаются основные результаты из литературы, полученные при теоретическом изучении моделей разобучения. При этом проводится анализ современного состояния области исследования и дается критическая оценка известных подходов. Подчеркивается ограниченность классического разобучения, его неэффективность в решении некоторых нажных проблем обучения и трудности с определением оптимального времени разобучения. Обосновывается необходимость введения в рассмотрение новых моделей разобучения, лишенных этих недостатков. Изложенные сведения позволяют обосновать выбор объекта исследования и важности положений, выносимых на защиту. Во ыгорой главе вводится новая концепция детерминистического параллельного разобучения и детально описывается аналитический аппарат исследования - метод подрешеточной намагниченности. Здесь же дается нывод динамической системы детерминистического параллельного раэобучення, которая представляет собой самосогласованную систему из уравнения эволюции для подрешеточной намагниченности и итерационного отображения для приведенной синаптической матрицы. Проводится анализ системы аттракторов и их областей притяжения длн обобщенного правила Хебба в случае нескольких р = 2,3 запомненных прототипов. С использованием этих знаний далее подробно анализируется динамика параллельного разобучения для р = 2,3 векторов-прототипов, имеющих перекрытие или запомненных с разными весами. Результаты главы важны для понимания базовых механизмов разобучения. Глава завершается краткими выводами. В третьей главе выдвигается концепция параллельного разобучения с температурой и дается подробный анализ динамики разобучения. Данная глава начинается с введения в рассмотрение вероятностной модели информационного набора прототипов с временной корреляцией. Затем проводится анализ системы аттракторов после первичного обучения по обобщенному правилу Хебба и изучается бифуркация рождения нетривиального решения. После описания концепции параллельного разобучения с температурой вводится в рассмот рение динамическая система параллельного разобучения с температурой, численные решения которой обсуждаются в последнем разделе. Глава завершается краткими выводами.