Математическое и программное обеспечение массивно-параллельных вычислений в распределенных системах на базе аппарата нейронных сетей

• Автор: Калинин, Александр Викторович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Воронеж
• Количество страниц: 157 с. : ил.

Оглавление
Введение.
Глава 1 Анализ современных алгоритмов программирования искусственных нейронных сетей.

1.1 Основные положения теории нейронных сетей.

1.2 Математическое описание нейросетсвого аппарата

1.3 Синтез нейросетевых конфигураций как задача многомерной оптимизации.

1.3.1 Обучение нейронных сетей

1.3.2 Синтез топологии сети.

1.3.3 Вычислительные эксперименты в нейросетевом базисе.

1.4 Современные технологии построения распределенных систем

1.5 Практическое применение нейросетевого аппарата

1.5.1 Использование нейронных сетей в задачах медицинской диагностики.
1.5.2 Актуальные проблемы численного анализа
и нейронные сети
Постановка задач диссертационного исследования
Глава 2 Разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных системах
2.1 Анализ базовых нейросетевых процедур
2.2 Синтез обобщенного нейросетевого алгоритма
2.3 Разработка представления распределенной системы.
2.4. Создание методов отображения обобщенного нейросетсвого
алгоритма на распределенную систему.
2.4.1 Отображение на уровне нейронных процедур
2.4.2 Отображение на уровне нейросетевых конфигураций
2.5 Стратегия решения нейросетевой задачи в распределенной
системе
Выводы.
Глава 3 Разработка архитектуры распределенного программного комплекса нейросетевых вычислений
3.1 Функциональная архитектура.
3.2 Структурная архитектура
3.3 Внутренняя организация сервисов
3.4 Проблемы надежности распределенной системы.
3.5 Выбор платформы, тестирование
Глава 4 Разработка тестовых процедур оценки эффективности распределенного комплекса на основе типовых нейросетевых задач.
4.1 Конфигурация тестового полигона.
4.2 Тестовая процедура на основе задачи диагностики пароксизмов мерцательной аритмии
4.3 Тестовая процедура на основе решения некорректных задач .
4.3 Генерация многомерных тестовых распределений
Заключение
Библиографический список
Список используемых сокращений
Приложение 1 Инструкция по установке программного комплекса параллельных нейросетевых вычислений
Приложение 2 Диаграммы классов программного комплекса параллельных нейросетевых вычислений.
Приложение 3 Акты использования разработанной системы в практической деятельности
Введение
Актуальность


Практическая значимость работы заключается в создании специального программного обеспечения, повышающего эффективность процессов нейросетевой обработки данных и знаний за счет организации массивно-параллельных вычислений в распределенной системе. Реализация результатов работы. Разработанный программный комплекс решения сложных нсйросетевых задач, адаптированный для диагностики нарушений сердечного ритма, внедрен в практическую деятельность городской клинической больницы № 9 (БСМП). Материалы диссертации используются в учебном процессе Воронежского государственного технического университета при обучении студентов специальности в курсах "Системы искусственного интеллекта" и "Теория принятия решений". Апробация работы. Смоленск, ; Ростов н/Д, ), международной научно-технической конференции и Российской научной школе молодых ученых и специалистов "Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий" (Сочи, ), У-УИІ Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, -), а также на научных семинарах кафедры АВС ВГТУ (Воронеж, -). Публикации. По результатам исследований опубликовано печатных работ, в том числе 3 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [1 -2, ] основные принципы параллельных вычислений в распределенных системах на базе нейронных сетей, в [3 - 5, ] методы построения инструментального программного комплекса нейросетевых вычислений, в [9 - , - ] применение аппарата нейронных сетей для решения практических задач в областях медицинской диагностики, численного анализа и адаптивного управления. Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, трех приложений, изложена на 2 листах машинописного текста, содержит список литературы из 6 наименований, рисунков, таблиц. Термин искусственные нейронные сети (ИНС) был введен в середине -х годов XX века в трудах У. Маккалока, Д. Хсбба, Ф. Розснблата, М. Минского, Дж. Хопфилда. Отталкиваясь от работ, исследовавших функционирование человеческого мозга, авторы впервые ввели понятие искусственного нейрона, механизма нейронных связей, принципа объединения нейронов в сети. Но недостаточно полное математическое основание первых работ по теории искусственных нейронных сетей привели к некоторому кризису в развитии данного аппарата. Так, в работе М. Минского и С. Пейперта "Пер-септроны" были показаны принципиальные ограничения первых моделей искусственных нейронных сетей. С развитием базы вычислительной техники в -х годах ХХ-века появилось широкое поле для экспериментов в области искусственного интеллекта (ИИ). Кроме того, в это время начали появляться научные работы, создавшие строгое обоснование теории искусственных нейронных сетей. Л в работе [1] было дано полное описание алгоритма обучения многослойной нейронной сети, благодаря которому были сняты ограничения, описанные в работе М. Минского и С. Пейперта. С этого момента теория ИНС развивается стремительно. Основу аппарата ИНС составляет понятие нейрона (рис. Нейрон состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя []. И'/ Н? Рис. Формальная схема искусственного нейрона. У = /(•? У - функция активации, у - выходной сигнал. Обычно смещение / заменяют добавлением единичного сигнала х0 с весом и'#, равным г. Активационная функция, в общем случае, может иметь различный вид, от порогового скачка до квадратичной формы. Рис. Примеры функций активации. Сигмоидальный тип функций активации выбран из следующих соображений: во-первых зависимости такого типа нелинейные, что позволяет строить многослойные сети, во-вторых они определены на всей оси абсцисс и по крайней мере дважды дифференцируемы. Нейронная сеть представляет собой совокупность искусственных нейронов, соединенных между собой связями с определенными весовыми коэффициентами. Рис. Рис. Рис. Рис. Типы нейронных сетей Среди многослойных нейронных сетей наибольший интерес вызывает однонаправленная многослойная сеть прямого распространения - MLP (multi layer perccptron), состоящая из нейронов сигмоидального типа []. Классическая трехслойная нейронная сеть типа MLP (рис.