Моделирование и разработка численных методов обучения нейронных сетей суперпозиционной линейно-нелинейной структуры

• Автор: Сараев, Павел Викторович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Липецк
• Количество страниц: 151 с. : ил

Введение
1 Исследование процесса нейросетевого моделирования и численных методов обучения нейронных сетей прямого распространения

1.1 Структура нейронных сетей прямого распространения

1.2 Исследование процесса нейросетевого моделирования

1.3 Численные методы обучения нейронных сетей и их связь с методами оптимизации.

1.3.1 Постановка задачи обучения

1.3.2 Численные методы обучения на основе методов безусловной оптимизации .

1.3.3 Численные методы обучения на основе методов решения нелинейных задач о наименьших квадратах
1.3.4 Процедура обратного распространения ошибки Постановка задач диссертационного исследования.
2 Разработка численных методов обучения нейросетевых моделей, учитывающих их суперпозиционную линейнонелинейную структуру
2.1 Применение блочных рекуррентноитерационных процедур в задачах обучения нейронных сетей
2.1.1 Использование блочных рекуррентноитерационных процедур в обучении нейронных сетей
2.1.2 Применение блочных процедур для последовательного наращивания структуры
2.2 Использование базового линейнонелинейного соотношения в процессе обучения
2.3 Разработка численного метода обучения нейронных сетей на
основе базового линейнонелинейного соотношения
2.3.1 Разработка метода обучения нейронных сетей стандартной структуры.
2.3.2 Распространение метода на многослойные многовыходные нейронные сети с нелинейной функцией активации в выходном слое.
Выводы.
3 Сравнительный анализ алгоритмических реализаций числен ных методов обучения
3.1 Разработка методики проведения вычислительных экспериментов по сравнению эффективности алгоритмов обучения . .
3.2 Структура программного комплекса для сравнительного исследования эффективности численных методов обучения . . .
3.2.1 Алгоритмизация процесса исследования эффективности алгоритмов обучения.
3.2.2 Структура программного комплекса исследователя . .
3.3 Результаты сравнительного анализа эффективности алгоритмов обучения
Выводы.
4 Управление ценовой политикой на основе использования ней
росетевых моделей
4.1 Разработка алгоритма принятия решений по управлению ценовой политикой предприятий
4.2 Структура программного комплекса нейросетевого моделирования для решения практических задач.
4.2.1 Алгоритмизация процесса практического использования нейронных сетей .
4.2.2 Структура программного комплекса нейросетевого моделирования .
4.3 Моделирование спроса и оптимизация тарифной политики ОАО Липецкэлектросвязь на основе использования нейронных сетей.
4.3.1 Построение нейросетевой модели спроса населения на услуги междугородной связи.
4.3.2 Оптимизация тарифной политики ОАО Липецкэлектросвязь
Выводы.
Заключение
Библиографический список
Приложения
Введение
Актуальность


На основе алгоритмов построения и выбора адекватных структур НС разработан программный комплекс для нейросетевого моделирования, в котором реализованы предложенные процедуры оптимизации ценовой политики предприятий с целью увеличения объема реализуемых товаров предоставления услуг и максимизации дохода от их реализации. Реализация и внедрение результатов работы. Результаты диссертационной работы используются в учебном процессе ЛГТУ при изучении студентами специальности Прикладная математика специальных дисциплин Математическое моделирование, Численные методы, Методы оптимизации, при прохождении производственных практик, при выполнении курсовых и дипломных работ. Апробация работы. Теоретические и практические результаты, полученные в процессе исследования, обсуждались на Молодежной научнотехнической конференции ВУЗов центральной России Брянск, V Международной электронной научной конференции Современные проблемы информатизации в непромышленной сфере и экономике Воронеж, VI Международной открытой научной конференции Современные проблемы информатизации в технике и технологиях Воронеж, VII 1Х Всероссийских семинарах Нейроинформатика и ее приложения Красноярск, V научнопрактическом семинаре Новые информационные технологии Москва, Международной конференции I Ii iii Ii Таганрог, V Всероссийской научнотехнической конференции Нейроинформатика Москва, на семинарах, проводимых Липецким региональным отделением Российской ассоциации искусственного интеллекта Липецк, . Публикации. По материалам диссертационной работы опубликовано работ, в том числе 8 без соавторов. Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 5 наименований. Основная часть работы изложена на 8 страницах машинописного текста, содержит рисунков и таблиц. Искусственные нейронные сети НС представляют собой специфический класс математических моделей. Данное обстоятельство, с одной стороны, позволяет использовать имеющиеся разработки в области математического моделирования в приложении к нсйросетевым моделям, а с другой стороны, наиболее полно учитывать возможности и ограничения НС, индуцированные специальной структурой модели. На этапе создания искусственным НС отводилась роль заменителей человеческого интеллекта, способных качественно принимать решения на основе имеющегося опыта. Изначально НС задумывались как математические модели, наиболее полно отражающие структуру мозга человека и имитирующие процессы мышления. В настоящее время многие элементы применения НС лишь в отдаленной степени соответствуют исходным целям. В основе приведенных свойств лежат свойства НС как математических моделей специального вида. В данной главе приведена базовая информация об основных элементах НС, их архитектурах. Основное внимание в главе уделено НС прямого распространения НС Г1Р как наиболее используемому класса НС. Во втором разделе на основе анализа информации литературных источников предложен обобщенный алгоритм применения НС для решения практических задач. Исследованы основные этапы процесса применения НС, выявлены слабые места этого процесса. Третий раздел посвящен исследованию основного этапа применения НС обучению НС. Подробно рассмотрена сущность процесса обучения параметрическая идентификация математической модели, в основе которой лежат оптимизационные методы. Указана необходимость учета специальной структуры НС и особенности задачи обучения. Основным элементом НС является искусственный нейрон, преобразующий векторный вход х в скалярный выход у 6 1. Для унификации записи в нейрон обычно вводят фиктивный единичный вход д0 1 с весом го0 рис. То 1 фиктивный вход. Кроме указанного способа формирования уровня активации нейрона существуют и другие . На практике последние два типа нейронов не используются, так как они сильно усложняют процесс построения нейросетевой модели, не внося значительных дополнительных возможностей. Рис. Рис. Пороговая функция линейная пороговая рис. Рис. Линейная пороговая функция гиперболический тангенс рис.