Математическое моделирование физико-технических объектов на основе структурной и параметрической адаптации искусственных нейронных сетей

• Автор: Тархов, Дмитрий Альбертович
• Шифр специальности: 05.13.18
• Научная степень: Докторская
• Год защиты: 2005
• Место защиты: Санкт-Петербург
• Количество страниц: 335 с. : ил.

Оглавление
Введение.

Глава 1. Анализ состояния предметной области и постановка задач

диссертации.

1.1. Линейные модели

1.2. Нелинейная регрессия.

1.3. Статические нейронные сети.

1.4. Динамические нейронные сети

1.5. Построение модели по уравнениям и данным.

1.6. Методы оптимизации.

1.7. Осцилляторные модели нейронных сетей.

1.8. Нсйросетевой эмулятор
1.9. Выводы по главе
Глава 2. Структу рные алгоритмы построения статических и
динамических нейронных сетей
2.1. Построение статической нейронной сети прямого распространения по статической выборке.
2.2. Кластерный анализ. Сети Кохонена и Гроссберга
2.3 Сети с радиальными базисными функциями сети.
2.4. Многослойный персептрон с временными задержками и связанные с ним нейросетевые архитектуры
2.5. Динамическая кластеризация и сети Кохонена
2.6. сети с временными задержками
2.7. Рекуррентные сети.
2.8. Выводы по главе.
Глава 3. Построение нсйросетевой модели но уравнениям и данным.
3.1. Обыкновенные дифференциальные уравнения.
3.2. Решение краевых задач для уравнения Лапласа на плоскости с помощью ЯБР сетей
3.3. Нейросетевые подходы к решению краевых задач в составных областях.
3.4. Применение нейронных сетей к задачам с переменной границей.
3.5. Генетические алгоритмы декомпозиции задач математической физики с помощью нейронных сетей.
3.6. Некоторые подходы к решению систем дифференциальных уравнений с частными производными и других задач моделирования
3.7. Выводы по главе.
Глава 4. Итерационные методы обучения нейронных сетей
4.1. Метод Ньютона как реализация приближений с быстрой сходимостью
4.2. Некоторые методы глобальной оптимизации.
4.3. Распределенное обучение нейронных сетей.
4.4. Обучение нейронных сетей но распределнным данным и обучение распределнных нейронных сетей
4.5. Выводы по главе.
Глава 5. Осцилляторные нейросетевые модели
бесконечной размерности
5.1. Теорема о выпрямлении траекторий на бесконечномерном торе
5.2. Приводимость линейной системы с нечтными почти периодическими коэффициентами
5.3. Решение аналитического уравнения с почти периодическими коэффициентами.
5.4. Общая схема метода Колмогорова. Основные определения.
5.5. Разрешимость гомологического уравнения.
5.6. Условия сходимости метода Колмогорова
5.7. Выводы по главе
Глава 6. Нейросетевой эмулятор
6.1. Основные функциональные возможности пакета 1.2.
6.2. Описание интерфейса 1.2
6.3. Определение характеристик температуры воздуха для региона Западной Сибири с помощью пакета .
6.4. Разграничение региона Западной Сибири по зонам с помощью пакета .
6.5. Выводы по главе
Заключение
Литера гура.
Введение
Актуальность


Также различной может быть процедура отбора пар хромосом для скрещивания. Обычно это хромосомы с минимальными значениями функционала или случайно выбранные пары, причём хромосомы с меньшим значением функционала имеют большую вероятность принять участие в образовании потомства. Мутация тоже может быть разная - точечная, когда в хромосоме случайным образом ноль заменяется единицей или наоборот, инверсия, когда участок хромосомы поворачивается на 0 градусов, транслокации, когда участок хромосомы вырезается и переносится в другое её место и т. Самая простая процедура отбора состоит в выборе из родителей и потомков определённого числа наилучших, но она часто приводит к быстрому вырождению, т. Другой подход - случайный выбор в зависимости от значения минимизируемого функционала - чем меньше этот функционал, тем больше вероятность попасть в следующее поколение. Возможны и более сложные процедуры - когда лучшие обязательно попадают в новое поколение или когда вероятность попадания выше у непохожих хромосом. В качестве функционалов для отбора, по-видимому, имеет смысл использовать приведённые выше функционалы из МГУЛ, причём для разных генетических операторов можно использовать разные критерии. Генетические алгоритмы также можно совместить с многорядным выбором но МГУА, только надо предпринять меры против вырождения, например отбор непохожих пар для скрещивания. Следует заметить, что бинарное кодирование не является обязательным условием применения генетических алгоритмов. Более того, описанные выше генетические операции над бинарными последовательностями имеет смысл рассматривать как иллюстрирующие примеры, которые для конкретных задач следует переопределить в соответствующих этим задачам терминах. Такой подход будет реализован далее при рассмотрении конкретных объектов - нейронных сетей той или иной архитектуры. В качестве простейших мутаций можно рассматривать добавление некоторой переменной в регрессию или исключение некоторой переменной из регрессии. Вероятность мутаций должна зависеть от того, насколько важный вклад вносит та или иная координата в регрессию - разумно подвергать мутациям наименее значимые координаты. Другой подход -подвергать мутациям координаты, наиболее коррелированные с ошибками. При скрещивании имеет смысл выбирать наиболее значимые координаты из каждой из скрещиваемых регрессий. Коллектив регрессий. Еще один вариант - использовать не одну регрессию для всех случаев, а их набор [9], каждая со своей областью применимости. При этом исходная выборка (х1,у1),(х2,у2),. А,,уЛ,) кластеризуется, т. К каждой регрессии относится те наблюдения, для которых она даёт минимальную ошибку. Если к какой-либо регрессии относится слишком мало точек, то она исчезает, а относящиеся к ней точки распределяются снова по тому же принципу между оставшимися регрессиями. Таким образом, в данном параграфе систематизированы различные подходы к построению линейной регрессии - к подбору, как её коэффициентов, так и структуры. Нелинейная регрессия. Большую часть нейросетевых моделей можно рассматривать как частный случай нелинейной регрессии [2, , , , 9, 0, 6], поэтому перед рассмотрением особенностей различных типов нейронных сетей целесообразно собрать сведения, относящиеся к общему случаю. Постановка задачи построения нелинейной регрессии. Линейная регрессия не всегда может адекватно отобразить экспериментальные данные. Для построения более точной модели приходится искать зависимость вида у®Г(х), где Г- нелинейное отображение. Обычно саму структуру Г обычно считают известной, но оставляют свободными некоторый набор параметров Таким образом, задача состоит в подборе и^и-ри^,. УЛ-Г|>'>х„)|г. Формула (1. Это не всегда так, в особенности, если выборка пополняется. Если в (1. Заметим, что градиент функционала ошибки нужен для применения градиентных методов поиска точки минимума функции (1. Квазилинейная регрессия. J]wf>/J(x). Более интересным является вариант, в котором функции /(х) тоже подбираются, причём этот подбор допускает параметризацию, т. Пусть еп определяется формулой (1.