Вопросы синхронизации в нейронных сетях со сложной динамикой

• Автор: Богомолов, Юрий Викторович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Ярославль
• Количество страниц: 115 с. : ил.

Содержание
Введение

1 Анализ дискретной модели нейронной сети

1.1 Математическая модель

1.2 Характеристики динамики сети

1.3 Устойчивость состояния равновесия системы

1.4 Описание и результаты вычислительного эксперимента

1.4.1 Оценка энтропии нейронной сети

1.4.2 Анализ показателей энтропии

1.4.3 Периодические и непериодические режимы

1.4.4 Анализ возмзчценной системы

1.5 Результаты анализа модели
2 Синхронизация сетей в дискретной модели
2.1 Математическая модель взаимодействующих
нейронных сетей
2.1.1 Модель сети с постоянным воздействием
2.1.2 Модель сети со случайным воздействием
2.2 Результаты анализа процесса синхронизации
2.3 Анализ процессов десинхронизации
3 Анализ сети осцилляторов на основе импульсной модели нейрона
3.1 Математическая модель нейронной сети
3.1.1 Биологическая справка
3.1.2 Моделирование импульсной активности нейрона

3.1.3 Модели нейронных сетей на основе уравнения с запаздыванием
3.2 Численное моделирование динамики нейронной сети
3.2.1 Анализ процессов синхронизации в паре диффузионно связанных нейронов
3.2.2 Анализ волновых процессов в нейронной цепи
Литература
Приложение

Введение
1. Направления в моделировании нейронных сетей
Искусственные нейронные сети имитируют свойства и структуру естественных нейронных сетей (нервной системы животных) и находят свое применение в задачах, для которых использование традиционных вычислительных средств оказывается недостаточным. Демонстрируя свою эффективность в применении к задачам обработки изображений и распознавания образов [21-23,74,120], анализа временных рядов [35,77,78], обработки сигналов [71,76,79], кластеризации [4,29,103], обработки семантической информации [5,34], аппроксимации и прогнозирования [81,112,118], оптимизации сложных систем [80,87], организации ассоциативной памяти [48,49,122] и в ряде других приложений, нейронные сети привлекают пристальное внимание исследователей во всем мире, а нейронауки обладают тесными междисциплинарными связями с самыми разными областями научного знания (нейрофизиологией, физикой, математическим моделированием, психологией, статистикой, синергетикой).
Основанные на биологических предпосылках, искусственные сети на нейроиодоб-ных элементах переняли и свойственные естественным нейронным сетям особенности: параллельная обработка импульсной информации большим количеством достаточно простых однотипных элементов (нейронов), высокая степень связанности элементов между собой, модифицируемость связей между элементами в процессе функционирования (адаптация, обучаемость), надежность и устойчивость к повреждениям (достигаемая, как правило, за счет избыточности). Разнообразие нейросетевых моделей и подходов к их реализации требует подключения широкого математического инструментария для анализа процессов, происходящих в нейронных сетях.
Направления в моделировании и исследовании нейронных сетей можно условно разделить на две основные категории. К первой можно отнести исследования, направленные на имитацию структуры и свойств нервной системы с целью анализа процессов, происходящих в нервной системе, изучения механизмов мыслительных процессов (на основе формально-логических моделей), осознания особенностей структурно-функциональной организации мозга, имитации и анализа биологических, нейрофизиологических, когнитивных процессов. Ключевую роль здесь играет сопоставление иейросетевой модели и ее свойств с биологическим прототипом, анализ

В работе [8] было выявлено, что при значениях параметров (синаптических весов) р0 = — 1,05 и р1 = 0 динамика нейронной сети похожа на хаотическую (в частности, наблюдается неустойчивость к малому изменению начального вектора состояния нейронной сети и быстрое расхождение траекторий исходной и возмущенной системы). Поэтому в качестве примера вычисления оценки статэнтрошш будет выбрана нейронная сеть именно с такими весовыми коэффициентами.
Рассмотрим нейронную сеть с нулевым начальным состоянием и малым значением вектора смещения. Предварительно нейронная сеть функционирует в течение Го = Ю4 скрытых итераций, в дальнейшем последовательно выделяется К = 107 состояний нейронной сети (точнее, рассматривается номер октанта, в который попал текущий вектор состояния) с пропуском в Г = 100 итераций. Из выделенных состояний (номеров октантов) выделяются строки по Ь = 250 элементов, которые и образуют выборку объема ЛГ = 4 • 104. По заданной выборке описанным выше алгоритмом проводятся оценки статэнтропии (Г1хр) и Рнр)).
Результаты вычислительных экспериментов (статистические оценки энтропии) приведены в таблице для различных значений параметра к.
к „(*) гы Рыр) Пмр)
1 50,3744 0,1012 0,1
2 43,2221 0,1179 0,1
3 39,3674 0,1294 0,1
4 36,6891 0,1389 0,1
5 34,6693 0,1470 0,1
6 33,0332 0,1543 0,1
7 31,6632 0,1609 0,1
8 30,4847 0,1672 0.1
9 29,4611 0,1730 0,1
10 Г 28,5628 0,1784 0,1
Таблица 1.1: Последовательность значений оценок статэнтропии нейронной сети
Отметим также, что с ростом к оценка энтропии г)$ (р) возрастает (так как из определения тт^{ж1,..., х„} ^ шт^+1^{ж1,..., ж„}, откуда следует г^+1' ^