Метод одновременного структурно-параметрического синтеза многослойных персептронов

• Автор: Хандаров, Федор Владимирович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Улан-Удэ
• Количество страниц: 132 с. : ил.

Оглавление
ВВЕДЕНИЕ

ГЛАВА 1. ПОСТАНОВКА ЗАДАЧИ И ОБЩАЯ СХЕМА СТРУКТУРНОПАРАМЕТРИЧЕСКОГО СИНТЕЗА

1.1 Постановка задачи структурно-параметрического синтеза

1Л Л Постановка задачи обучения сети с фиксированной структурой

1Л .2 Выбор функции активации

1Л .3 Кодирование точек пространства поиска при различающихся структурах

1 Л.4 Постановка задачи обучения сетей с различающимися структурами и общая схема СПС

1.2 Алгоритмическое наполнение общей схемы СПС

1.2.1 Методы модификации топологии

1.2.2 Методы параметрического улучшения
1.3 Выводы по главе
ГЛАВА 2. МЕТОД СТРУКТУРНО-ПАРАМЕТРИЧЕСКОГО СИНТЕЗА
МНОГОСЛОЙНЫХ ПЕРСЕПТРОНОВ
2.1 Стратегия модификации топологии (синтез структуры) сети
2.2 Алгоритм нелокального параметрического улучшения
2.2.1 Сравнительный анализ методов ГСП
2.2.2 Гибридный метод ГСП на основе комбинации поиска с запретами и дифференциальной эволюции
2.3 Метод структурно-параметрического синтеза
2.4 Тестирование метода структурно-параметрического синтеза
2.4.1 Выбор тестовых задач
2.4.2 Описание задач
2.4.3 Результаты решения задач
2.5 Выводы по главе
ГЛАВА 3. ПРОГРАММНЫЙ КОМПЛЕКС И РЕШЕНИЕ ПРАКТИЧЕСКИХ ЗАДАЧ
3.1 Описание программного комплекса
3.2 Решение практических задач
3.2.1 Прогнозирование налоговых поступлений (по данным Республики Бурятия)
3.2.2 Прогнозирование результатов сдачи Единого государственного экзамена (ЕГЭ).
3.3 Выводы по главе
ЗАКЛЮЧЕНИЕ
СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ А
ПРИЛОЖЕНИЕ Б
ПРИЛОЖЕНИЕ В

ВВЕДЕНИЕ
Для построения математических моделей на основе эмпирической информации (по измеряемым данным наблюдений над объектом) распространенным подходом является использование искусственных нейронных сетей (ИНС) [19; 32]. ИНС представляют собой универсальный инструмент моделирования, они используются в качестве систем представления знаний, на практике играющих роль управляющего компонента либо модуля принятия решений [32].
Искусственные нейронные сети — передаточные модели, построенные по принципу организации и функционирования сетей нервных клеток живого организма. ИНС представляют собой упорядоченные множества обрабатывающих узлов, называемых нейронами, соединенных взвешенными связями, по которым передаются сигналы между узлами (подобная структура может быть описана ориентированным графом, вершины которого описывают нейроны, а ориентированные ребра - межнейронные связи).
Пусть некоторая рассматриваемая ИНС состоит из п нейронов, которые являются упрощенными моделями естественных нейронов, что выражается в виде сопоставления каждому г -тому нейрону сети некоторой передаточной (активационной) функции (р,, принимающей аргумент вида
У г = (Р,

,1 = 0,п, (1)

где у,- является выходным сигналом г -того нейрона, рассчитываемым на основе
значений хДу -0,п^ сигналов, приходящих от остальных нейронов и - весов,
приписанных межнейронным связям. Заметим, что индексация х в формуле (1) начинается с 0, хотя число нейронов - п (х0 = 1 в этом случае играет роль смещения).
Все нейроны, таким образом, подразделяют на внутренние (скрытые), входные и выходные - в зависимости от источника и приемника сигналов. Входные нейроны получают свои сигналы из внешней среды, а выходные - отдают сигналы во внешнюю среду. Количество скрытых нейронов п и расположение связей между нейронами сети определяет топологию сети (структуру сети).
Процесс моделирования с использованием ИНС сводится к выбору топологии сети (структурной идентификации) и к дальнейшему подбору весовых коэффициентов (параметрической идентификации) при заданной топологии. В принятой терминологии задача подбора весовых коэффициентов известна как задача обучения сети.
На практике выделяют различные виды ИНС в зависимости от рассматриваемых в совокупности характеристик: структуры расположения нейронов [90; 91; 107; 108; 114], направления передачи сигналов (сети прямого распространения, реккурентные сети и др. [63; 80; 109]), используемых активационных функций (радиально-базисные функции, сигмоидальные функции и др. [120; 133]), способа обучения (с учителем, без учителя, с подкреплением [24; 45]) и прочих характеристик [8].
На данный момент одним из наиболее исследованных классов ИНС являются многослойные персептроны (МП) - сети с прямым распространением сигнала (от входов к выходам) со слоистой топологией нейронов и активационными функциями сигмоидального типа (гиперболический тангенс, сигмоидальная функция, функция Гаусса и др.), реализующие обучение с учителем. Математическое обоснование использования МП восходит к тринадцатой проблеме Гильберта [33] и содержится в теоремах Стоуна-Вейерштрасса [44], А. Н. Колмогорова и
В. И. Арнольда [2; 26; 27]; работах R. Hecht-Nielsen [98], G. Cybenko [69],
В. Крейновича [111], А. Н. Горбаня [13; 89] и др. - см., например, обзор A. Pinkus [132], общим итогом которого является доказательство возможности аппроксимации с помощью МП любой непрерывной функции нескольких переменных при нелинейных функциях активации.

2.2 Алгоритм нелокального параметрического улучшения
1.2.2 Методы параметрического улучшения В целом, в схеме, приведенной в Разделе 1.1.4, может быть применен любой глобальный метод безусловной оптимизации, и вопрос заключается в выборе наиболее эффективного из них. В настоящей работе предлагается использование методов глобального стохастического поиска (ГСП). Данные методы являются эвристическими, и меткая их характеристика дана, например, в монографии А. А. Жиглявского и А. Г. Жилинскаса: «эвристические методы: некогда презираемые, а нынче весьма уважаемые» (“heuristic methods: once scorned, now highly respectable”) [155]. На подобные изменения в настроениях специалистов могли повлиять следующие факторы [15]:
1) практические успехи - опыт решения реальных задач уже не позволяет отказывать эвристикам в признании, поскольку они подчас выигрывают у рациональных методов, особенно при решении задач высокой вычислительной сложности;
2) появление строгих математических доказательств о невозможности существования гарантированных методов поиска глобальных экстремумов любых непрерывных функций за разумное число операций.
Основное преимущество ГСП перед другими подходами заключается в робастности — малой чувствительности к «нехорошему» поведению ЦФ и наличию случайных ошибок в данных, полученных эмпирическим путем (что особенно важно в случае решения практических задач машинного обучения). Очевидно также, что алгоритмы ГСП менее чувствительны к структуре и размерности пространства поиска [22]. Таким образом, перечисленные особенности подхода ГСП свидетельствуют об оправданности его выбора для решения задачи настройки весов связей.