Исследование нейроподобных сетей, работающих со средним значением стохастического потока

• Автор: Лукьянов, Александр Владимирович
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2000
• Место защиты: Ярославль
• Количество страниц: 74 с. : ил.

Содержание
1. Введение
1.1. Формальная модель нейрона
1.2. Некоторые подходы к аппаратной реализации искусственных нейронных сетей
1.3. Импульсное кодирование информации в биологических нейронных сетях
1.4. Клеточные нейронные сети
1.5. Нейроны с альтернативными синапсами
1.6. Дискретное преобразование Фурье
1.7. Обзор диссертации
2. Потоковое представление информации
2.1. Общие определения
2.2. Представление значений из [0; 1]
2.3. Представление значений из [—1; 1]
2.4. Представление комплексных значений
3. Потоковый нейрон
3.1. Основные элементы нейрона
3.2. Описание работы нейрона
3.3. Вычисление средних значений
3.4. Обоснование перехода к линейной модели
3.5. Полносвязная сеть и ее обучение
3.6. Результаты эксперимента
4. Потоковый нейрон с альтернативными синапсами
4.1. Основные элементы нейрона
4.2. Описание работы нейрона
4.3. Значения на выходе нейрона
4.4. Ассоциативная память на сети Хопфилда
4.5. Обучение по методу Хебба
4.6. Оптимизационное обучение
4.7. Результаты эксперимента

5. Потоковое устройство, выполняющее дискретное преобразование Фурье
5.1. Значения и их представление
5.2. Описание схемы ДПФ
5.3. Обоснование
5.4. Сходимость к среднему значению
5.5. Результаты моделирования
5.6. Сравнение с обычной реализацией
5.7. Выводы
6. Заключение
Список рисунков
Список таблиц
Литература

1. Введение
Искусственные нейронные сети в последние десятилетия применяются для решения большого класса задач, для которых неизвестны эффективные алгоритмы, или требуется быстрая параллельная обработка данных. В этот класс входят задачи обработки изображений [4,30], задачи распознавания оптических образов [44,63], звуковых сигналов [57], организации ассоциативной памяти [9,10,48], предсказания показателей биржевых рынков [5], синтеза речи [60] и многие другие.
В основу искусственных нейронных сетей (ИНС) положены следующие черты биологических нейронных сетей, позволяющие им хорошо справляться со сложными задачами с неизвестными принципами решения: имеется простой обрабатывающий элемент — нейрон; очень большое число нейронов участвует в обработке информации; один нейрон связан с большим числом других нейронов (глобальные связи); веса связей между нейронами могут изменяться; информация обрабатывается параллельно.
Сложность нейронной сети определяется количеством нейронов, количеством связей между ними и сложностью отдельного нейрона. В диссертации разработаны новые модели нейронов, которые являются более простыми для аппаратной реализации по сравнению с другими моделями. Связи между разработанными нейронами состоят всего из двух физических линий, по которым передается два бита за единицу времени. Это достигается за счет использования кодирования информации в виде среднего значения стохастической последовательности.
При разработке искусственной нейронной сети, как правило, строится формальная модель нейрона, которая изучается математическими методами, и для которой разрабатывается алгоритм обучения. На основе формальной модели может быть создана аппаратная реализация ИНС, которая обладает свойствами изученной формальной модели и обучается теми же методами, что и формальная модель. Первая формальная модель нейрона была предложена У. Мак-Каллоком и В. Питтсом [52]. Другие формальные модели нейронов и нейронных сетей предлагались Ф. Розен-блаттом [59] (перцептрон), Дж. Хопфилдом [48] и другими.
Поскольку искусственные нейросети разрабатывались на основе принципов работы биологических нейронных сетей, они унаследовали их некоторые свойства: нечеткую логику, выраженную в виде алгебраических уравнений, возможность обучения, параллельность выполнения операций. При обучении сеть адаптируется для решения

Итерационное выражение (15) можно преобразовать в сумму последовательности:

+1 = £(1 - 2-г'ГАг(_г

При вычислении Мг4 и дисперсии при £ —» оо получаем сумму бесконечной геометрической прогрессии с коэффициентами (1 — 2-2 ) и (1 — 2-г )2 соответственно. Среднее значение счетчика при £ —> оо:
= 2;'МДг + 0((1 - 2-*')*)
= 2г'(и;о + Мш+ - Ми;“) + 0((1 - 2~*'У)
= 2' 0 + |2‘-1(Р+-Рк-)) +0((1-2-г')‘). (16)
Дисперсия при £ —> оо, при условии независимости Дг(:
= Додг + 0((1-2-')»)
< # + 0((1-2-Г).
Вычислим среднее значение при £ —> оо в одном частном случае. Пусть
Х+ = { г | Р {жй = 0} = Ь Л Р {хцУОг > 0} = 1 - 6} ,
Х~ = { г | Р {хц = 0} = Ь Л Р {х.ц1И{ < 0} = 1 — 6} ,
Х° = {г | и;, = 0},
х+ид-ид° = {1
Тогда значения Р, можно получить следующим образом (предполагая 0° = 1):
К = ЬЙА, |щ
геХ+
N. = ЬЙД, |щ
г(ЕХ-
К = 1-£Л+,
рк- = 1-гЛ".
Соответственно,