Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации

• Автор: Синявский, Олег Юрьевич
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Москва
• Количество страниц: 149 с. : ил.

Введение

Г лава 1. Обобщенная модель спайкового нейрона

1.1. Описание спайковых последовательностей

1.2. Метрика на пространстве паттернов

1.3. Обобщенная модель спайкового нейрона

1.4. Постановка задач обучения нейрона с помощью теории информации

1.4.1. Обучение обобщенного спайкового нейрона с учителем

1.4.2. Самообучение обобщенного спайкового нейрона

1.4.3. Обучение с подкреплением обобщенного спайкового нейрона

1.5. Модель спайкового нейрона “Spike Multi Responses Model”

Глава 2. Обучение спайкового нейрона с учителем

2.1. Метод обучения с учителем с помощью снижения частной энтропии нейрона в
дискретном времени
2.2. Реализация методов обучения спайкового нейрона с учителем
2.3. Задача соблюдения задержки между входным и выходным спайком
2.4. Задача распознавания входных паттернов
2.5. Временная автоассоциативная память
2.5.1. Графические обозначения для описания структуры спайковых нейронных сетей..
2.5.2. Обучение временной автоассоциативной памяти
2.6. Метод обучения с учителем с помощью снижения частной энтропии нейрона в
непрерывном времени
2.7. Зависимость изменения веса от разницы времен между спайками
2.8. Сходимость алгоритма обучения с учителем
2.9. Выбор параметров альфа-функций
2.10. Оценка вычислительного ресурса при моделировании спайковых нейронов
Глава 3. Самообучение спайкового нейрона
3.1. Задача самообучения нейрона на основе снижения полной энтропии выхода нейрона
3.2. Пример самообучения спайкового нейрона
3.3. Комплексный метод обучения нейрона
Глава 4. Обучение спайкового нейрона с подкреплением
4.1. Спайковая нейронная сеть как система управления
4.2. Модель нейрона управляющей спайковой сети
4.3. Модулированное снижение информационной энтропии
4.4. Описание тестового виртуального агента, управляемого спайковой нейронной сетью
4.4.1. Описание процесса обучения виртуального агента

4.4.2. Различные конфигурации управляющих сетей
4.4.3. Управление агентом в виртуальной среде большой размерности
4.5. Описание тестовой модели робота-фу гболиста, управляемого спайковой нейронной сетью
4.6. Адаптивное управление разнородными объектами при возникновении изменений во внешней среде
Заключение
Приложение 1. Программное обеспечение для моделирования спайковых нейронных сетей
Приложение 2. Моделирование футбола роботов
Приложение 3. Акты о внедрении результатов, полученных в диссертационной работе
Список использованных источников:
Список публикаций по теме диссертации:
Введение
Реальный биологический нейрон - сложнейшая биохимическая система [1], оперирующая с непрерывно поступающим многомерным потоком импульсов напряжения -спайков. Последовательности спайков поступают на синапсы нейрона, при этом сам нейрон также генерирует на выходе последовательность спайков, которые распространяются по его выходному отростку - аксону. Если целью моделирования нейрона является изучение его реальной нейрофизиологии, то в модели приходится учитывать множество деталей работы нейрона (в том числе, динамику мембраны нейрона, как возбудимой динамической системы, пространственное устройство отростков нейрона и др.). Однако в рамках кибернетики и компьютерных наук, ориентированных на практические приложения, остро стоит вопрос о том, какие черты биологических нейронов позволяют решать нейронным сетям практически важные задачи (такие как задачи распознавания образов и задачи адаптивного управления), а какими свойствами реального биологического нейрона при моделировании можно пренебречь с целью построения быстрых и эффективных искусственных нейронных сетей. Также в настоящее время ведется множество дискуссий о так называемом вопросе «нейронного кода» [2]: какая характеристика потока спайков действительно несет полезную информацию, а что является лишь вспомогательным механизмом, служащим, например, для увеличения помехоустойчивости каналов связи между нейронами.
Исторически первыми кибернетическими моделями нейронов были упрощенные спайковые нейроны Мак-Каллока - Питса [3], называемые бинарными нейронами. Моделирование сети бинарных нейронов ведется в дискретном времени. На каждом шаге моделирования нейрон выдает бинарный сигнал: «1» - выходной спайк, «О» - нет спайка. Сумма бинарных сигналов от входных нейронов суммируется с некоторыми весами, и если взвешенная сумма преодолеет порог, то нейрон выдает выходной спайк. Одним из первых практическую реализацию алгоритма обучения сети бинарных нейронов предложил Ф. Розенблатт (’’персептрон”) [4].
Дальнейшее развитие алгоритмов обучения нейронов и идеи устройства нейрона как нелинейного интегратора входных сигналов привело к созданию частотных моделей нейронов. Существуют экспериментальные подтверждения точки зрения, что в некоторых задачах, выполняемых реальными нейронами, значение имеет только частота спайков нейрона [5,6,2] (например, при первичной ассоциативной обработке сенсорных сигналов). Популярные частотные модели нейронов, базирующиеся на этой гипотезе, представляют нейрон как элемент, суммирующий частоты входных сигналов. Значение частоты нейрона представляется в виде числа, лежащего на каком-либо ограниченном интервале. Далее нейрон обрабатывает сумму сигналов (обычно с помощью нелинейной активационной функции) и выдает значение

интенсивностью Хк [53]. Вероятность отсутствия спайка Ьк на к -том шаге вычисляется по формуле:
При такой грубой дискретизации информация о наличии более, чем одного спайка на интервале А1 теряется. Вероятность появления хотя бы одного спайка (а, возможно, нескольких) на к -ом интервале можно вычислить по формуле:
Работа спайкового нейрона должна быть ориентирована на решение разнообразных полезных задач. Задав определенные параметры конкретной модели нейрона, можно производить требующуюся обработку спайковых последовательностей. Однако, как правило, определить параметры модели, качественно выполняющей поставленные задачи, очень сложно, более того, задача может быть плохо формализуема в терминах модели нейрона. По аналогии с биологическими нейронами в таких случаях нужно ставить задачи в терминах процессов обучения. В задаче обучения предполагается, что обучающийся объект способен изменять свои свойства под воздействием внешних факторов таким образом, чтобы в результате как можно «лучше» выполнять поставленную задачу. Конкретный смысл слова «лучше» определяется при постановке задачи, но предполагается, что механизмы обучения объекта явно или неявно владеют информацией о степени приближения к цели и корректируют свои параметры соответствующим образом. В процессе обучения нейрон может пользоваться различными источниками информации, помогающими найти решение задачи: он может анализировать входные и выходные спайковые последовательности, получать особый входной сигнал, явно содержащий информацию о цели обучения (при обучении с учителем и с подкреплением).
Входными сигналами назовем информацию, необходимую только для функционирования объекта в рамках поставленной задачи без процесса обучения. Выходными сигналами назовем информацию, которую генерирует объект на основе входных сигналов и своего внутреннего состояния. Выходные сигналы объекта используются для достижения цели поставленной задачи. Входные и выходные сигналы априори всегда считаются доступными для объекта. Существуют также специальные входные сигналы, несущие информацию только о цели задачи и использующиеся только в процессе обучения. Такие сигналы называют обучающими. Задачи обучения классифицируются в зависимости от доступности той или иной части информации для объекта. Если для обучения доступны только входные и выходные

=1-е і

1.4. Постановка задач обучения нейрона с помощью теории информации