Об оптимизации структурной реализации нейронных сетей

• Автор: Половников, Владимир Сергеевич
• Шифр специальности: 01.01.09
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Москва
• Количество страниц: 108 с. : ил.

Глава 1. Исследование нелинейной глубины
1.1. Понятие нейронных схем без памяти
1.2. Теорема о нелинейной глубине нейронных схем
без памяти
1.3. Каноническое представление нейронных схем без памяти нелинейной глубины один
1.4. Нейронные схемы Мак-Каллока-Питтса. Пространство кусочно-параллельных функций
Глава 2. Задача проверки полноты в пространстве кусочно-параллельных функций
Глава 3. Исследование нелинейной сложности
Глава 4. Нейронные схемы с памятью
4.1. Понятие нейронных схем с памятью
4.2. Минимизация числа операций обратной связи в нейронных схемах с памятью
4.3. Нейронные схемы с умножением
Литература

Для построения математических моделей различных процессов удобно применить понятие функциональной системы введенное впервые Кудрявцевым [1]. В рамках понятия функциональной системы можно рассматривать формулы алгебры логики с операцией суперпозиции, конечные автоматы [2] с операциями суперпозиции или композиции, однородные структуры [3], схемы из функциональных элементов [4] с операцией суперпозиции и т.п. Подобный унифицированный подход позволил обобщить некоторые результаты и технику доказательств для различных функциональных систем. Так, рассмотрение изучаемых объектов как функциональных систем, к примеру, позволило автору провести доказательство леммы 1.1 индукцией по построению, характерной для структурных автоматов и схем из функциональных элементов, а в главе 2 рассмотреть задачу полноты, характерную для функциональных систем в дискретной математике. Применяется техника и возникают структуры типичные в теории автоматов в доказательстве леммы 4.1, а результат аналогичный сформулированному в теоремах 7 и 8 ранее для конечных автоматов был получен в дипломной работе О. Смирновой. Для описания логического устройства электронных схем обычно рассматривались схемы из элементов, реализующих некоторые простые булевские функции. Решалась задача о построении всевозможных

функций, используя наименьшее количество элементов. Так в работе Лупанова [5] была получена асимптотика функции Шеннона для реализации в виде формул Ь{п) ~ и схем Ь(п) ~ — булевских функций над базисом {&, V, —}. Позднее стала бурно развиваться пороговая логика [6] привлекательная тем, что для реализации булевской функции схемой, пороговых элементов обычно необходимо меньше, чем рассматриваемых ранее булевских элементов. Однако, при таком подходе возникают технические трудности физического изготовления пороговых элементов, поэтому возникла задача, где разные пороговые элементы имеют разную сложность. При изучении схем из пороговых элементов также исследовалось не только количество элементов, но и глубина схемы (время функционирования схемы). В работе [7] подробно изучил сложность схем из пороговых элементов глубины два. Решение аналогичной задачи для изучаемых автором нейронных схем приводится в главе 3. Обзорная работа [6] замечательна еще тем, что в ней доказывается теорема Шлефли, позволяющая подсчитать число п-мерных открытых многогранных конусов, которые получаются в результате разбиения к гиперплоскостями пространства К”. Несмотря на то, что в данной работе рассматривается аналогичная конструкция, автору пришлось пе-редоказать в главе 3 данную теорему, ввиду п-мерных открытых многогранных конусов от классов эквивалентности
класса Ф, мы доказали, что // G Ф, а это, в силу линейности функции 1д, влечет принадлежность / классу ФL.
2. Докажем, что операция отождествления переменных сохраняет класс ФL. Пусть /(ад хп) получена из д(х 1,... ,xn+i) G ФL отождествлением переменной хп и хп+. По определению g(xh...,xn+i) = g(xi хп+1)+
lg(xI,... ,хп+{), фд G Ф, 1д £ L. Рассмотрим функцию фf, Ф> агп) • /[х 1, ■ • •, х11) £^(ад жД. Произвольное сечение функции // прямой 91: ад = at+b,. ..,хп — ant+ Ъп совпадает с сечением фд прямой ад = ait + b хп = ant + bn, xn+i — ant + bn, значит лежит в классе Ф(1), а функция /(ад, ... ,ж„) = ф/(х 1 ж„) + //ад является
С-финитно-линейной.
3. Рассмотрим операцию подстановки одной функции из ФЬ в другую. Пусть функции / и д принадлежат классу ФL. Ввиду доказанного выше пункта 1, добавив недостающие фиктивные переменные, можно считать, что функции fug зависят от одного набора переменных ад хп. Не уменьшая общности, можем считать, что функция д подставлена в функцию / вместо хп. Тогда в качестве результата подстановки получаем функцию
h(xд хп) = /(ад xn-i,g(xh хп)). (2.1)
Ввиду С-финитно-линейности /, пусть функции Ф] G Ф и