Адаптивный критик с использованием фильтра Калмана

• Автор: Ботин, Валерий Александрович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Краснодар
• Количество страниц: 123 с. : ил.

Содержание
Введение
Глава 1. Топологии с подкреплением, фильтр Калмана и нейронные сети.
Обзор и анализ современного состояния
Обучение с подкреплением
Адаптивные критики
Алгоритм SARSA
Обобщенная схема адаптивных критиков
Варианты расчета подкрепления
Достоинства и недостатки сетей адаптивной критики
Нейронные сети
Нейронные сети для прогнозирования
Общий принцип решения задач прогнозирования с помощью нейронных
сетей
Фильтр Калмана
Фильтр Калмана для прогнозирования
Фильтр Калмана для цветного шума помех
Некоторые замечания к теории фильтров Калмана
Ансамбль фильтров Калмана
Скользящая средняя
Метод МГУ А
Выводы к главе
Глава 2. Модифицированный адаптивный критик с фильтром Калмана
Объект управления
Модуль прогнозирования рабочего параметра (Решатель)
Блок переобучения прогнозирующей нейронной сети
Одномерная, простая система с подкреплением на базе фильтра Калмана
Модуль критика на базе фильтра Калмана (вариант Q-критика)
Модуль критики на базе фильтра Калмана (вариант V-критика)
Выводы к главе
Глава 3. Модельные задачи с разработанной топологией
Введение
Построение механической торговой системы
Особенности финансовых рынков
Основные принципы построения МТС
Модель МТС финансового рынка на базе АКФК
Модель 1ТИ + адаптивный критик на базе ФК
Выводы к главе
Глава 4. Экспериментальная часть
Исследование МТС на базе АКФК
Исследование системы управления ИТ - отделом
Выводы к главе
Заключение
Приложение А (программные продукты)
Приложение Б (справочное)
Список литературы:

Введение
Рациональная деятельность во многих прикладных задачах, например, ведение хозяйств, использование ресурсов, организация деловой активности является многошаговой задачей, часто с бесконечным горизонтом. В данных задачах необходимо на каждой итерации выбирать некоторое управление, возможно неоптимальное на данном шаге, но оптимальное с точки зрения конечной цели. Другими словами - оптимальным должен быть весь многоэтапный процесс смены состояний системы. Данной проблеме посвящено много работ и над ней трудились известные ученые со всего мира, отметим следующий ряд ученых: Р. Беллман, Е.С. Вентцель, Г. Вагнер, Кофман А., Крюон Р., Т.Л. Саати и др. [8,19,20,47,62,63,76].
Приведем несколько примеров многоэтапных задач:
а) Управление проектом (Менеджмент проекта). Обычно есть конечная цель проекта, например, выпуск законченной версии программного продукта. И есть этапы проекта, на каждом из которых необходимо принятие управленческих решений, которые должны, как можно скорее привести к конечной цели проекта с заданным показателем качества. При этом управленческие решения могут быть разнообразны по своей природе, например, изменение количества специалистов на определенном этапе, вопрос премирования за опережение графика, использование различных ресурсов, в том числе аутсорсинг и т.д.
б) Управление закупками в торговых сетях (логистическая задача). В данной задаче необходимо принимать решение - сколько и какого товара закупать на каждый операционный момент времени (обычно на неделю). При этом должны учитываться: остатки товаров на складах, сезонность, тренд и многое другое. Управления закупками происходит периодически, и процесс их оптимальной выборки является многошаговым.
в) Управление инвестиционным портфелем. Регулярное участие в торгах и периодическая реструктуризация активов портфеля позволяют

Фильтр Калмана для цветного шума помех
Покажем общую схему (Гулько - Новосельцева [67]) для фильтра Калмана с цветным шумом помех. Данная схема будет использоваться в дальнейшем, так как и в рассматриваемых задачах и вообще на практике шумы обычно цветные и коррелированные с полезным сигналом.
Рисунок 7 - Схема Гулько - Новосельцевой
Идея Гулько - Новосельцевой состоит в том, чтобы преобразовать наблюдаемый сигнал системой, обратной формирующему фильтру, и получить в результате сигнал г, с помехой, представляющей собой белый шум. Тогда задача сводится к построению фильтра Калмана для преобразования наблюдаемого сигнала. При этом, разумеется, необходимо наблюдаемый сигнал 2(0 умножить слева на перед пропусканием через систему, обратную формирующему фильтру.
Другим распространенным методом использования фильтра Калмана в случае произвольной помехи является метод Брайсона и Йохансена, с которым можно ознакомится в работах [67]. Данный метод труднее реализовывать программным способом и поэтому в дальнейших экспериментах был задействован метод Гулько - Новосельцевой, как более естественный и простой.