Разработка ускоренных алгоритмов обучения нейронных сетей и их применение в задачах автоматизации проектирования

• Автор: Сидоров, Сергей Георгиевич
• Шифр специальности: 05.13.12
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Иваново
• Количество страниц: 161 с. : ил

ВВЕДЕНИЕ .

ГЛАВА 1. ОБЗОР СОСТОЯНИЯ РАБОТ ПО ПРИМЕНЕНИЮ НЕЙРОТЕХНОЛОГИЙ.

1.1. Аналитический обзор

1.2. Биологическая модель искусственных нейронных сетей.

1.3. Искусственные нейронные сети.

1.4. Алгоритмы обуче 1ия нейрон пых сетей.

1.5. Линейная разделимость и персептронная представляемость

ВЫВОДЫ.

ГЛАВА 2. БЫСТРЫЕ АЛГОРИТМЫ

2.1. Сведение обучения к минимизации.3

2.2. Случайный поиск как механизм оптимизации.

2.3. Генетическая оптимизация.
2.4. Оптимизация со штрафом за сложность
2.5. Гибридные нейродинамические системы
2.6. Волновая система.
2.7. Тепловые процессы
2.8. Движение молекул.
2.9. Ускорение моделирования заменой динамических подсистем их нейронными аналогами
2 Результаты численных экспериментов обучения нейросетей
ВЫВОДЫ.
ГЛАВА 3. УСКОРЕНИЕ РАБОТЫ НЕЙРОННЫХ СЕТЕЙ ПОСРЕДСТВОМ ИХ РЕАЛИЗАЦИИ НА МНОГОПРОЦЕССОРНЫХ СИСТЕМАХ .
3.1. Граф многопроцессорных вычислительных систем.
3.2. Граф искусственной нейронной сети
3.3. Проектирование графа нейронной сети на граф вычислительной системы и оптимизация этого отображения.
3.4. Генетический алгоритм на многопроцессорной системе.
ВЫВОДЫ .
ГЛАВА 4. ПРИЛОЖЕНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ
4.1. Диагностика состояния паропроводов.
4.2. Прогнозирование уровня поверхностных вод.
ВЫВОДЫ
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ
СПИСОК Л ИТЕРАТУРЫ.
ПРИЛОЖЕНИЯ.
Приложение 1. Справка из главного управления природных ресурсов и
охраны окружающей среды МГ1Р России по Ивановской области
Приложение 2. Справка из Костромской ГРЭС
Приложение 3. Однослойный алгоритм распознавания образов.
Приложение 4. Алгоритм прогнозирования колебания струны
Приложение 5. Генетический алгоритм прогнозирования колебания
температуры внутри стены.
Приложение 6. Алгоритм случайного поиска для сетей прогнозирующих
колебание молекул
Приложение 7. Параллельный вариант генетического алгоритма.
Приложение 8. Программа диагностики металлов.
Приложение 9. Генетический алгоритм прогнозирования по гесколъким параметрам.

ВВЕДЕНИЕ


В четвертой главе приводятся методика и результаты экспериментальных исследований процессов обучения искусственных нейронных сетей в практических задачах связанных, с диагностикой состояния металла паропроводов высокого давления и температуры по микрофотографиям шлифов гибов труб работающих в тяжелых условиях и задаче прогнозирования гидрологических процессов в бассейне реки У водь Ивановской области. В приложении приведены программы, разработанные с использованием быстрых алгоритмов обучения искусственных нейронных сетей, реализованные в однопроцессорном и многопроцессорных вариантах. ГЛАВА 1. Цель данного обзора заключается в определении современного состояния проблем применения искусственных нейронных сетей в задачах автоматизации проектирования и выработке основных направлений дальнейшего развития нейротехнологий. Для решения поставленной цели решены следующие задачи рассмотрены научные предпосылки, история развития теории нейронных сетей, их проблемы, принципы построения, известные алгоритмы обучения, описан спектр задач, решаемый искусственными нейросетями, сделан обзор состояния работ по их применению в САПР энергетики. Искусственные нейронные сети индуцированы биологией, так как они состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы организуются способом, соответствующем анатомии мозга. Несмотря на поверхностное сходство, искусственные нейронные сети демонстрируют большое количество свойств, присущих мозгу 1. Современные цифровые вычислительные машины превосходят человека по способности производить числовые и символьные вычисления, однако неспособны решать сложные задачи восприятия внешних данных со скоростью и точностью присущей человеку. Причина значительных различий их производительности заключается в используемой архитектуре. Структура биологической нейронной системы отличная от архитектуры машины фон Неймана табл. Нейронные сети являются адаптивными самообучающимися системами, извлекающими информацию из реальных процессов, которые динамически промоделировать трудно, т. Применение нейронных сетей позволяет решать задачи, у которых
I
отсутствуют формализованные математические описания процессов их функционирования. В процессе работы нейронные сети накапливают информацию и эффективность их со временем возрастает. Таблица 1. В процессе изучения структуры и функций нервной системы человека, многое стало известно о размещении связей в нейронной сети мозга, но мало что о его функционировании. Мозг чрезвычайно сложен. Понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки разрабатываемых теорий . В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д. Хэбба, который в г. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Минский, Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Называемые персептронами, они были использованы для такого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. Исследования были продолжены такими учеными как Кохонен, Гроссберг, Андерсон и другими. В последние несколько лет теория искусственных нейронных сетей стала применяться в прикладных областях и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Таким образом, нейронные сети хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования . Ниже приведен перечень возможных промышленных применений нейронных сетей, на базе которых либо уже созданы коммерческие продукты, либо реализованы демонстрационные прототипы.