Численные методы безусловной оптимизации с итеративным обучением и их применение

• Автор: Крутиков, Владимир Николаевич
• Шифр специальности: 05.13.18
• Научная степень: Докторская
• Год защиты: 2005
• Место защиты: Кемерово
• Количество страниц: 290 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ.
ГЛАВА 1. УСЛОВИЯ ОБУЧЕНИЯ В РЕЛАКСАЦИОННЫХ МЕТОДАХ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ И ИТЕРАТИВНЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ

1.1. Типы сложности задач безусловной оптимизации.

1.2. Базовые схемы релаксационных методов безусловной оптимизации с обучением. Условия обучения

1.3. Показатели качества и итеративные алгоритмы обучения

ГЛАВА 2. РАЗРАБОТКА И ОБОСНОВАНИЕ РЕЛАКСАЦИОННЫХ МЕТОДОВ ПРЯМОГО ПОИСКА С ИЗМЕНЕНИЕМ МЕТРИКИ, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.
2.1. Схемы алгоритмов изменения метрики в методах случайного поиска и покоординатной релаксации, основанные на квадратичной модели функции. 2.2. Обоснование скорости сходимости класса методов минимизации вдоль

векторов линейнонезависимой системы.

2.3. Обоснование скорости сходимости шаговых методов случайного поиска

2.4. Алгоритмы адаптации шага в методах случайного поиска и оптимизация

их параметров.
2.5. Метод случайного поиска с варьированием метрики
2.6. Метод минимизации без вычисления производных на основе рассредоточенной схемы Аортогонализации
2.7. Выводы.
ГЛАВА 3. РАЗРАБОТКА И ОБОСНОВАНИЕ КВАЗИНЬЮТОНОВСКИХ МЕТОДОВ, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ
3.1. Квазиныотоновские методы.
3.2. Вывод и анализ на основе формализма теории обучения известных формул пересчета матриц квазиньюгоновских методов
3.3. Глобальная скорость сходимости и ускоряющие свойства квазиныотонов
ских методов.
3.4. Квазиньютоновский метод минимизации на основе двухшагового алгоритма обучения.
3.5. Способы наращивания размерности подпространства квазиныотоновско
го соотношения
3.6. Обоснование сходимости квазиныотоповского метода минимизации на
основе двухшагового алгоритма обучения
3.7. Результаты вычислительного эксперимента.
3.8. Выводы
ГЛАВА 4. РАЗРАБОТКА И ОБОСНОВАНИЕ РЕЛАКСАЦИОННЫХ СУБГРАДИЕНТНЫХ МЕТОДОВ, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.
4.1. Подход построения эффективных алгоритмов обучения в методах сопряженных субградиентов
4.2. Алгоритм обучения с растяжением пространства для решения
множества равенетв
4.3. Алгоритм обучения с растяжением пространства для решения
множества неравенств.
4.4. Релаксационный субградиснтиый метод с растяжением пространства в
направлении субградиента
4.5. Связь релаксационного субградиентного метода с растяжением пространства с методом сопряженных градиентов
4.6. Реализация релаксационного субградиентного метода с растяжением пространства в направлении субградиента.
4.7. Итерационный метод решения множества неравенств па основе одношагового алгоритма обучения
4.8. Алгоритм минимизации на основе одношагового алгоритма обучения для
решения множества неравенств
4.9. Связь с методом сопряженных градиентов
4 Реализация алгоритма минимизации на основе одношагового алгоритма
обучения для решения множества неравенств.
4 Результаты численного исследования реализаций релаксационных суб
градиентных методов
4 Выводы.
ГЛАВА 5. РАЗРАБОТКА И ОБОСНОВАНИЕ ОДНОРАНГОВОГО СЕМЕЙСТВА СУБГРАДИЕНТНЫХ МЕТОДОВ С РАСТЯЖЕНИЕМ ПРОСТРАНСТВА, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.
5.1. Метод сопряженных субградиентов с растяжением пространства
5.2. Одноранговое семейство релаксационных субградиентных методов с растяжением пространства
5.3. Реализация алгоритмов однорангового семейства субградиентных методов
5.4. Анализ глобальной скорости сходимости алгоритма с растяжением пространства в направлении разности последовательных субградиентов
5.5. Выводы
ГЛАВА 6. ПРОГРАММНЫЙ КОМПЛЕКС РЕЛАКСАЦИОННЫХ МЕТОДОВ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ ПКРМО
И ИХ ПРИЛОЖЕНИЯ.
6.1. Программный комплекс релаксационных методов безусловной оптимизации и их свойства.
6.2. Схема разработки и поиска упрощенной математической модели сложного
объекта
6.3. Разработка комплекса математических моделей для прогнозирования оптической деградации терморегулирующих покрытий космических летательных аппаратов.
6.4. Прогнозирование оптической деградации терморегулирующих покрытий
космических летательных аппаратов но результатам наземных испытаний 2 6.5. Применение релаксационных методов оптимизации для определения нестационарных законов горения пороха на основе обработки данных манометрических испытаний.
6.6. Применение релаксационных методов оптимизации в задачах нейросете
вых приближений
6.7. Применение релаксационных субградиентных методов в задачах оптимизации структуры нейронных сетей.
6.8. О методе решения задачи планирования многопродуктового производства 8 6.9. Применение релаксационных методов оптимизации в задаче анализа данных деятельности однотипных предприятий
6 Оптимизационные задачи аппроксимации и анализа структуры поверхности по данным наблюдений
6 Выводы
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА


Установлено, что субградисптные методы МРП, гома и РСМК являются эффективным средством решения задач оценивания параметров нейросстевых приближений и построения краткого математического описания в виде линейной модели или нейронной сети в схеме метода негладкой регуляризации ,, 4. Изучение эффективности структуры и параметров систем многопродуктового производства может осуществляться на основании математических моделей , что приводит к необходимости решения задач нелинейного программирования высокой размерности. В главе рассматривается схема декомпозиции но ограничениям задачи оптимизации прибыли многопродуктового производства , , которая позволяет свести задачу минимизации высокой размерности к задаче минимизации негладкой функции малой размерности. Для целей изучение эффективности структуры и параметров системы угольных предприятий разработана схема и программный комплекс ее анализа па основе микроэкономических характеристик предприятий, которые рассчитываются методами программного комплекса ПКРМО по данным затратывыпуск , . В результате сформулированы выводы о состоянии системы и рекомендации по ее реструктуризации , . Решена актуальная задача обнаружения складок и разрывов поверхности. Разработаны оптимизационные алгоритмы аппроксимации поверхности по данным высотных отметок и сформулированы условия складки и разрыва поверхности, на основании которых разработан комплекс алгоритмов распознавания различных форм тектонической нарушенное пластовых месторождений , 1, , 1, 7. В заключении приведены основные результаты и выводы диссертационной работы. ГЛАВА 1. Задачи оптимизации разделяются на два класса задачи с непрерывными переменными и задачи с дискретными переменными. В работе мы будем иметь дело с задачами оптимизации первого из отмеченных классов, с задачами безусловной оптимизации непрерывных переменных и методами их решения. В этой главе дается описание типов сложности задач безусловной оптимизации, схемы релаксационных методой безусловной оптимизации, в которых используется обучение, качественный анализ условий функционирования итеративных алгоритмов обучения в них, показатели качества обучения, алгоритмы обучения для подобных условий и способы их получения. Перечислим некоторые из особенностей задачи 1. Размерность. По количеству переменных минимизируемой функции, с учетом увеличения се сложности решения при росте размерности и возможностей существующих методов, задачи можно условно разделить на три класса, приведенные в таблице 1. Таблица 1. Степень вырожденноетн для гладких дважды дифференцируемых функций определяется числом обусловленности матрицы вторых производных. Функции с высокой степенью вырожденности называют иногда овражными. Они характеризуются большой разницей вытянутости поверхностей равных значений функции для различных направлений. Чем выше степень вытянутости линий уровня, тем более сложной для минимизации она является см. Доступность информации о функции определяется возможностью вычисления функции и ее производных x,,x,x. Например, для функции, заданной алгоритмически, сложно или невозможно задать алгоритм вычисления ее производных, даже при их существовании. Отсутствие возможности вычисления производных функции увеличивает сложность решения задачи. Дифференцируемость функции. Во многих случаях минимизируемые функции являются недифференцируемыми, что существенно увеличивает сложность задачи. Для решения таких задач используются методы негладкой оптимизации см. Базовые схемы релаксационных методов безусловной оптимизации с обучением. Методы спуска решения задачи безусловной минимизации x, x, состоят из процедуры построения последовательности точекхк к0,1,. X Л ь 1. Д движения вдоль него. Процесс построения последовательности точек хк, хк , назовем релаксационным, сел и x x. Обозначим через . Vx, V х,д л величину косинуса угла между направлением антиградиенга V х и направлением спуска . Д 1 М , со i x , 1. Условие 1. Пусть x, x , сильновыпуклая функция с константой р, а ее градиент x удовлетворяет условию Липшица с константой . III. В градиентном методе направление Vx. Д V X, 0,1,2. При условии 1. II1.