Суперпозиционное линейно-нелинейное нейроструктурное моделирование

• Автор: Сараев, Павел Викторович
• Шифр специальности: 05.13.18
• Научная степень: Докторская
• Год защиты: 2011
• Место защиты: Липецк
• Количество страниц: 280 с. : ил.

Оглавление
Введение

1. Нейронные сети и нейросегевые методы моделирования

1.1. Структура и методика применения нейронных сетей

1.1.1. Искусственный нейрон

1.1.2. Структура нейронных сетей прямого распространения .

1.1.3. Методика применения нейронных сетей

1.2. Обучение нейронных сетей

1.2.1. Постановка задачи обучения

1.2.2. Классификация методов обучения

1.2.3. Алгоритм обратного распространения ошибки

1.2.4. Численные методы локальной оптимизации
1.2.5. Оптимизационные свойства псевдообращения
1.2.6. Нелинейный метод наименьших квадратов
1.2.7. Подходы к глобальной оптимизации в обучении
1.2.8. Интервальные методы глобальной оптимизации
1.3. Построение нейронных сетей оптимальной структуры
1.3.1.- Контрастивный подход
1.3.2. Конструктивный подход
1.4. Нейросетевые методы в задачах анализа данных
1.4.1. Прогнозирование
1.4.2. Управление
1.4.3. Классификация
1.4.4. Кластеризация
Постановка задач диссертационного исследования

2. Нейроструктурное моделирование и синтез нейроструктурных моделей
2.1. Нейроструктурное моделирование
2.2. Нейроструктурные методы моделирования динамических систем
2.2.1. Нелинейные нейронные сети Вольтерра
2.2.2. Исследование различных функций активации
2.3. Конструктивное построение нейроструктурных моделей
2.3.1. Общий подход к конструированию моделей
2.3.2. Блочные рекуррентно-итерационные процедуры в конструировании и обучении нейроструктурных моделей .
Основные результаты главы
3. Класс численных методов обучения на основе декомпозиции весов
и линейно-нелинейного соотношения
3.1. Методы обучения на основе декомпозиции и линейно-нелинейного соотношения
3.1.1. Линейно-нелинейное соотношение
3.1.2. Декомпозиция задачи обучения
3.1.3. Производная псевдообратной матрицы
3.1.4. Модельный пример
3.1.5. Метод вычисления производной взвешенной псевдообратной матрицы
3.1.6. Класс численных методов обучения на основе линейнонелинейного соотношения
3.2. Тестирование эффективности методов обучения
3.2.1. Программное обеспечение для тестирования
3.2.2. Сравнительный анализ эффективности методов обучения
3.3. Тестирование эффективности алгоритмов псевдообращения для применения в численных методах обучения
3.3.1. Эффективность алгоритмов псевдообращения
3.3.2. Эффективность блочного псевдообращения
Основные результаты главы

4. Численные методы гарантированного обучения нейроструктур-ных моделей на основе интервальных методов оптимизации
4.1. Анализ специфики задачи обучения на основе интервальных методов
4.2. Разработка сжимающих операторов на основе учета линейнонелинейной структуры моделей
4.3. Сжимающий оператор на основе интервального псевдообращения
4.3.1. Интервальное псевдообращение
4.3.2. Сжимающий оператор на основе интервального псевдообращения
4.4. Программа для исследования эффективности гарантированного метода обучения
4.5. Исследование эффективности гарантированных методов обучения моделей
Основные результаты главы
5. Комплекс программ для нейроструктурного моделирования и анализа данных
5.1. Структура комплекса программ для информационно-аналитической системы
5.1.1. Технологии построения информационно-аналитических
систем
5.1.2. Структура универсального хранилища данных
5.1.3. Программное обеспечение информационно-аналитической системы
5.2. Алгоритмическое обеспечение для нейроструктурного моделирования
5.2.1. Алгоритм оптимального управления динамическими объ-
ектами с упреждением на основе нейроструктурных моделей
5.2.2. Алгоритм автоматической кластеризации

где А Є М'"іХ,г - матрица значений базисных функций, Ъ € ВА1 - вектор откликов моделей, х Є Яп — искомый вектор параметров, в 2-норме аналитически может быть представлено как
х = А+Ь, (1.21)
где А+ Є Д£пхто - псевдообратная к матрице А (обратная матрица по Муру-Пенроузу). Фактически, задача (1.20) эквивалентна задаче решения системы линейных алгебраических уравнений
Ах = Ь, (1.22)
для которой в случае отсутствия решения может быть найдено псевдорешение по той же формуле (1.21). Это является следствием того, что система линейных алгебраических уравнений (1.22) относительно вектора неизвестных х при выполнении критерия совместности
А+АЪ = Ь
имеет решение
X = А+Ъ + (/ - А+А) г (1.23)
для произвольного вектора .г [5,178]. В случае несовместности системы урав-
нений формула (1.23) дает псевдорешение, то есть решение, минимизирующее квадратичную норму
\Ах-Ь\
Выражение х = А+Ъ определяет нормальное псевдорешение, то есть среди всех псевдорешений само обладает минимальной нормой вектора ||х|| [18].
Хотя существуют и другие подходы к решению ИЗ Н К [83], псевдообращение имеет существенное преимущество перед ними. Оно заключается в аналитическом представлении решения, что позволяет разрабатывать и применять большое количество других методов к решению оптимизационных задач.
Псевдообратная матрица задается соотношениями Мура-Пенроуза [178]:
А = АА+А: (1.24)