Кластерное распараллеливание нейровычислений на основе объектного представления нейронных сетей

• Автор: Сиземов, Дмитрий Николаевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Красноярск
• Количество страниц: 162 с. : ил.

Глава 1. Основные архитектуры и алгоритмы нейронных сетей и подходы к их распределённой реализации

1.1 Устройство искусственного нейрона

1.2 Виды искусственных нейронных сетей и задачи, решаемые при их помощи

1.2.1 Персептроны

1.2.2 Звезды Гроссберга

1.2.3 Модель Липпмана-Хемминга и принцип WTA

1.2.4 Карты самоорганизации Кохонена

1.2.5 Нейронная сеть встречного распространения (ВР)

1.2.6 Сети с обратными связями

1.2.7 Ассоциативность памяти и задача распознавания образов

1.2.8 Когнитрон: самоорганизующаяся многослойная нейросеть

1.2.9 Неокогнитрон и инвариантное распознавание образов
1.2.10 Принцип Адаптивного Резонанса. АРТ-нейросети
1.4 Методы обучения нейронных сетей
1.4.1 Основные сведения
1.4.2 Концепции Хэбба. Правило обучения Хэбба
1.4.3 Обучение персептрона
1.4.4 Алгоритм обратного распространения
1.4.5 Обучение Кохонена
1.5 Современные решения в области распределённой реализации
1.5.1 LON-технологии
1.5.2 Проект нейросервера на основе гетерогенного кластера ЭВМ
Выводы к главе

Глава 2. Проект «Нейропараллель» подход к организации распределённых нейровычислений и сопутствующие вопросы
2.1 Система распределённой нейроимитации «Нейропараллель»: концепция, методика, реализация
2.1.1 Концептуальная основа проекта
2.1.2 Архитектура системы
2.1.3 Клиентская часть системы
2.1.4 Серверная часть системы
2.1.5 Область применения системы
2.1.6 Методика описания структур распределённых нейронных сетей
2.2 Исследование эффективности распараллеливания и самоорганизация распределённой нейросистемы
2.2.1 Анализ эффективности распараллеливания нейровычислений
в зависимости от деталей его организации
2.2.2 Формулировка и решение задачи самоорганизации системы
Выводы к главе
Глава 3. Концепция «динамического полиморфизма» и функциональная гибкость информационных систем
3.1 Предпосылки
3.2 Явление полиморфизма в ИТ и его виды
3.3 Динамическое изменение функциональности объекта в ходе эксплуатации ПО
3.4 Теоретическое представление принципа динамического полиморфизма
Выводы к главе
Глава 4. Сравнительный анализ концепций, использованных в проекте «Нейропараллель» и стандарте нейрокомпьютера
4.1 Представление формального нейрона и искусственной нейронной сети
4.2 (Укрупнённая) архитектура нейрокомпьютера

4.2.1 Нейронная сеть и её элементы
4.2.2 Задачник
4.2.3 Исполнитель
4.2.4 Предобработчик и интерпретатор
4.2.5 Оценка
4.2.6 Контрастер
4.2.7 Учитель
4.3 Методика описания структуры нейронной сети
4.4 Пользовательский интерфейс и его уровень абстракции относительно системы
4.5 Типизация данных и её избыточность
Выводы к главе
Глава 5. Экспериментальная эксплуатация системы «Нейропараллель» при решении прикладных задач
5.1 Прогнозирование стоматологического статуса на этапах ортодонтического лечения с использованием слоистых нейронных сетей
5.2 Экспериментальное подтверждение эффективности распараллеливания
5.2.1 Первоначальная гипотеза об эффективности распараллеливания
5.2.2 Методика оценки эффективности нейроимитатора и постановка
эксперимента
5.2.3 Анализ и интерпретация результатов
Выводы к главе
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

слоя. Суть такого обучения состоит в том, чтобы для каждого примера обучающей выборки:
1. подать входной вектор и получить выходной;
2. определить нейрон-победитель, а также нейроны, попадающие в смежную с ним область;
3. модифицировать синапсы победителя и его соседей по области с целью достичь большей реакции по данному входному вектору;
4. постепенно уменьшать размеры области, смежной с победителем, до нулевого размера, повторяя при этом шаги 1-3.
Зачастую слои сети Кохонена геометрически располагают в форме прямоугольной области. Тогда смысл смежной с победителем области становится тривиальным - это прямоугольник такой же формы и меньших (в общем случае) размеров, а её размером можно считать радиус. Начальный размер области настройки и скорость его уменьшения варьируется в зависимости от особенностей задачи. В случае нулевого начального размера области обучение сводится к модели \ИГА.
Обучение Кохонена является самообучением, протекающим без учителя. Поэтому трудно (и не нужно) предсказывать, какой именно нейрон Кохонена будет активироваться для заданного входного вектора. Необходимо лишь гарантировать, чтобы в результате обучения разделялись несхожие входные векторы.
1.5 Современные решения в области распределённой реализации
Настоящий параграф содержит краткий обзор примеров наиболее распространённых в настоящее время решений, разработанных или пригодных к использованию в распределённой реализации нейросетевых моделей. Рассматриваются новейшие комплексные решения, с доминированием аппаратной и программной составляющей, по разделам, соответственно.