Исследование векторных нейронных сетей с бинаризованными синаптическими коэффициентами для задач обработки информации и принятия решения

• Автор: Крыжановский, Владимир Михайлович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2010
• Место защиты: Москва
• Количество страниц: 168 с. : ил.

ОГЛАВЛЕНИЕ

I. ВВЕДЕНИЕ.

1.1. Обзор литературы

12 Актуальность темм

1.3. Цели н золами диссертационной работы ........

1.4. Основные положения, выносимые на зашиту .

1.5. Методы исследования ...

1.6. Апробация работы и публикации . . .

1.7. Структура и объем диссертации ....

II. ОПТИМАЛЬНАЯ ПРОЦЕДУРА БИНАРИЗАЦИИ.

2.1. Описание проблемы... ..

2.2. Описание .модели и постановка задачи
2.3. Процедура бинаризации . .
2.4. Анализ результатов
2.5. Выводы жнжмнммиттимжнвнмнимммижнонжмниминттммжжжнмжжммиммиижмм
III. ФАЗОВАЯ ВЕКТОРНАЯ НЕЙРОННАЯ СЕТЬ
3.1. Описание .модели . ........
3.2. Эффективность восстановления образов.
3.3. Анализ результатов ... ... ...
3.4. Вы воды
IV. БЕСФАЗОВАЯ ВЕКТОРНАЯ НЕЙРОННАЯ СЕТЬ
4.1. Описание модели
4.2. Эффективность восстановления образов
4.3. Сравнительный анализ .. .
4.4. Выводы...
V. ВЕКТОРНЫЙ ПЕРЦЕПТРОН
5.1. Постановка задачи
5.2. Фазовый векторный иериептрон
5.3. Бесфазовый векторный псрцептрон с линейным членом .
5.4. Псрцептрон Поттса ...
5.5. Эффективность ндыгтифнкпцин . ..
5.6. Эффективность бинаризованного нерцептроня
5.6. Анализ результатов . ....
5.7. Выводы. .. ..
VI. КОМИТЕТ ВЕКТОРНЫХ ПЕРЦЕПТРОНОВ
6.1. Постановка задачи ..
6.2. Достоверность идентификации и его применение
6.3. Эффективность идентификации 1М1ИЖИ1МИММЖИМИНИММЖМИМИ1НММ1НМ
6.4. Анализ результатов
6.5. Выводы.
VII. РАСПОЗНАВАНИЕ БИНАРНЫХ ОБРАЗОВ.
7.1. Описание проблемы . .
7.2. Двухзтанная идентификации бинарных образов.
7.3. Предобработка бинарного вектора .
7.4. Эффективность двухэтапноП идентификации .....
7.5. Ограничения на емкость памяти.
7.6. Введение меры близости между состояния нейронов
7.7. Анализ результатов. ..
7.7. Выводы ...
VIII. РАСПОЗНАВАНИЕ КОРРЕЛИРОВАННЫХ ОБРАЗОВ
8.1. Описание проблемы
8.3. Новый векторный формализм iмимм1имниничммиимммнинии7 8.3. Идентификация случайных эталонов 1т1инжижнчмнинжииннм1нжчии1иии1ннжжнит
8.4. Идентификация коррелированных эталонов
8.5. Эксперимент. . ...
8.6. Выводы
ЗАКЛЮЧЕНИЕ.
ЛИТЕРАТУРА


Бинаризация позволяет выделить под хранение элемента синаптической связи всего 1 бит (2 бита, если в исходной матрице связей присутствуют отрицательные элементы) оперативной памяти, что в () раза меньше объема требуемого под небинаризоваиный элемент. Учет бинарности элементов при реализации модели позволяет ускорить алгоритм более чем в раз. Кроме того, в некоторых случаях процесс бинаризации увеличивает емкость ассоциативной памяти и усграияет негативные эффекты коррелированности эталонных векторов [,-]. Таким образом, исследование ВИС с бинаризованными синаптическими коэффициентами является в настоящий момент актуальной задачей. Целью диссертационной работы является исследование свойств искусственных векторных нейронных сетей с бинаризованными синаптическими коэффициентами. Выбор цели обусловлен тем, что бинаризация позволяет существенно повысить эффективность нейросетевых систем обработки информации и принятия решений: на порядок уменьшаются требования к объему оперативной памяти, необходимой для моделирования и реализации ВИС, и существенно ускоряется работа алгоритма. Разработан метод оптимальной бинаризации квадратичного функционала, к минимизации которого формально сводится работа систем ассоциативной памяти. Исследовано влияние бинаризации синаптических коэффициентов на распознающие характеристики следующих моделей векторных нейронных сетей: полносвязной фазовой ВНС; полносвязной бссфазовой ВНС: фазового векторного перцептрона; бссфазового векторного перцептрона. Предложен метод отображения бинарных векторов в (2-парные, позволяющий применять ВНС для распознавания бинарных векторов, значительно расширяя область применения векторных моделей. Для решения задач, которые нельзя решить с помощью одного векторного перцептрона, разработан метод, позволяющий объединять в единую систему (комитет) множество перцептронов, обученных на собственных ненересекающихся выборках эталонов. Оптимальная процедура бинаризации матричных элементов, позволяющая ускорить процесс минимизации многоэкстремального квадратичного функционала, построенного в пространстве состояний с бинарными переменными. Фазовая и бесфазовая модели векторных нейронных сетей с бинаризованными синаптическими коэффициентами и результаты исследований свойств этих моделей для различных архитектур: полносвязные сети, векторные перцептроны, комитеты векторных перцептронов. Метод отображения бинарных векторов в (}-нарные с введением меры близости между состояниями нейрона, позволяющий обрабатывать большие массивы бинарных векторов методами ВИС. При исследовании ассоциативной памяти в качестве эталонов выбираются случайно-сгенернрованные векторы, компоненты которых пскоррелированы, т. Такой подход значительно упрощает анализ моделей, позволяет применять центральную предельную теорему и корректно сравнивать полученные в результате оценки с характеристиками других моделей нейронных сетей. Р N . Фактически, оценка PN - это вероятность правильного восстановления всего вектора за один цикл при синхронной динамике. В то время как в настоящей диссертационной работе рассматривается только асинхронная динамика, при которой на каждом такте последовательно обсчитывается по одному нейрону. Если в результате нейрон ориентируется правильно, то вероятность правильной ориентации следующего нейрона увеличивается, в противном случае - уменьшается. К сожалению, выражения, получаемые с учетом вышесказанного, имеют слишком сложную необозримую форму и для последующего анализа модели не применимы. Получаемая одношаговым приближением оценка меньше истинной вероятности правильного восстановления всего эталона, но достаточно близка к ней, поскольку, как показывают экспериментальные данные, % компонент входного вектора восстанавливаются на первом цикле. Оценивание вероятности правильной ориентации одного нейрона Р выполняется в ! Если величина сигнала преобладает над величиной шума, то происходит правильное восстановление состояния нейрона. При решении поставленных задач в данной работе были использованы методы системного анализа, вычислительной математики, комбинаторики, математической статистики и теории вероятностей.