Модели, алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учета аргументов

• Автор: Орлов, Андрей Александрович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Томск
• Количество страниц: 183 с. : ил.

ОГЛАВЛЕНИЕ
Сокращения
Введение

1. Обзор современных методик, алгоритмов и систем интеллектуального анализа данных

1.1. Математическое моделирование как основа интеллектуального анализа данных

1.2. Современные системы мета-обучения

1.3. Реализация систем мета-обучения: современные методы ИАД

1.4. Метод группового учета аргументов (МГУА)

1.4.1. Основные принципы и достоинства МГУА

1.4.2. Обзор алгоритмов МГУА: параметрические, непараметрические, многорядные

1.4.3. Обзор применений МГУА
1.5. Программные платформы интеллектуального анализа данных
1.5.1. Программные платформы для реализации систем мета-обучения
1.5.2. Обзор систем моделирования на основе МГУА
1.5.3. Обзор вычислительных архитектур, используемых для запуска алгоритмов интеллектуального анализа данных
1.6. Выводы по главе 1 и постановка задач диссертационного исследования
2. Архитектура системы интеллектуального анализа данных на основе мета-обучения
2.1. Методика ИАД на основе мета-обучения с поддержкой выбора оптимального алгоритма
решения задачи и вычисления оптимальных параметров его функционирования
2.2. Алгоритмы обучения, использования и дообучения системы
2.2.1. Алгоритмы, соответствующие методике «одна мета-модель на алгоритм»
2.2.2. Алгоритмы, соответствующие методике «две мета-модели на алгоритм»
2.3. Идентификация мета-моделей с помощью алгоритма дважды многорядной
полиномиальной сети МГУА
2.4. Вычислительный алгоритм идентификации полиномиально-гармонической модели
оптимальной сложности
2.5. Разработка архитектуры программной платформы мета-обучения
2.6. Разработка архитектуры программной платформы МГУА
2.7. Выводы по главе
3. Реализация программной платформы
3.1. Выбор средств реализации
3.2. Обеспечение критерия гибкости
3.3. Обеспечение критерия производительности

3.4. Обеспечение критерия универсальности
3.3. Выводы по главе
4. Практическое применение результатов диссертационного исследования
4.1. Автоматическая система мета-обучения для решения задачи прогнозирования
4.1.1. Состав экспериментов
4.1.2. Набор тестовых выборок данных «М3 Competition»
4.1.3. Нижний уровень системы: прогнозирующие модели и алгоритмы их обучения
4.1.4. Нижний уровень системы: результаты идентификации прогнозирующих моделей
4.1.5. Верхний уровень системы (мета-уровень системы)
4.1.6. Верхний уровень системы: результаты идентификации мета-моделей
4.1.7. Результаты экспериментов по применению системы мета-обучения
4.2. Система прогнозирования нестационарных временных рядов
4.2.1. Структура системы прогнозирования нестационарных временных рядов
4.2.2. Результаты эксперимента по прогнозированию FX EUR/USD за 2009-2010 годы.
4.3. Экспериментальное исследование вычислительного алгоритма идентификации
полиномиально-гармонической модели оптимальной сложности
4.3.1. Точность расчета частот гармонической части модели
4.3.2. Качество идентификации моделей при ненулевой ошибке расчета частот гармонической части
4.4. Экспериментальная проверка эффективности распараллеливания вычислений
4.5. Выводы по главе
Заключение
Список литературы
Приложение 1. Акт о внедрении результатов диссертации в компании Econophysica Ltd
Приложение 2. Акт о внедрении результатов диссертации в компании ООО «Эко-Томск»
Приложение 3. Акт о внедрении результатов диссертации в ФБГОУ ВПО «Томский
государственный университет систем управления и радиоэлектроники»

Сокращения
ГА - генетический алгоритм.
ИАД - интеллектуальный анализ данных (в англоязычной литературе используется
термин «Data Mining»).
ИИ - искусственный интеллект.
ИНС - искусственная нейронная сеть.
KJI - кластер.
МГУА - метод группового учета аргументов.
МНК - метод наименьших квадратов.
МПС - многопроцессорная система.
MX - мета-характеристика.
МЯП - многоядерный процессор.
НЛ - нечеткая логика.
ПНС - полиномиальная нейронная сеть.
ПП - потоковый процессор.
ПЭ - показатель эффективности.
PC - распределенная система.

Листинг 3. Многорядный итерационный алгоритм МГУА (MIA)
Данные
• Выборка данных в виде набора из Н входных векторов xh размерности N каждый и соответствующих им выходных значений Yh-
• Выборка данных разделена на две части: обучающую hmin = ..НШп и проверочную h,ei,=H„a,n+l -H ■
• Внешний критерий качества модели.
Параметры алгоритма
• Максимальное число слоев результирующей нейронной сети R.
• Максимальное число нейронов в слое Z.
• Вид частного описания нейрона (двухвходовые нейроны):
линейное: y"e"ro" (Z[ > г2) - а0 + я, • z, + а2 - z2 ;
квадратичное: y"e'"°"(zuz2) = a0+al ■z1 +а2 -z, +аи ■z,-z2+an -zf + а22 -z .
Вид результирующей модели
Нейронная сеть с полиномиальными частными описаниями в каждом
нейроне.
Псевдокод
1. Первый слой.

1.1. Произвести генерацию ( частных описаний - все
возможные комбинации двух входных переменных.
1.2. Для каждого нейрона, полученного на шаге 1.1,
осуществить оценку параметров на обучающей выборке данных.
1.3. Для каждого нейрона, полученного на шаге 1.2,
рассчитать значение внешнего критерия качества на проверочной выборке данных.
1.4. Отобрать Z нейронов, характеризующихся минимальным
значением внешнего критерия качества.
2. Второй и последующие слои.

2.1. Произвести генерацию С = ^ частных описаний - все
возможные комбинации выходов нейронов предыдущего слоя.
2.2. Для каждого нейрона, полученного на шаге 2.1,
осуществить оценку параметров на обучающей выборке данных.
2.3. Для каждого нейрона, полученного на шаге 2.2,
рассчитать значение внешнего критерия качества на проверочной выборке данных.
2.4. Отобрать Z нейронов, характеризующихся минимальным
значением внешнего критерия качества.
2.5. Рассчитать среднее значение критерия качества
отобранных нейронов А.
2.6. Повторить шаги 2.1-2.5, если величина А продолжает уменьшаться от слоя к слою и не достигнуто ограничение на число слоев R.
3. Результирующая модель есть построенная нейросеть