Алгоритмы генетического программирования для формирования интеллектуальных информационных технологий

• Автор: Липинский, Леонид Витальевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Красноярск
• Количество страниц: 168 с. : ил.

Содержание
Введение.

Глава 1. Нейросетевые технологии

1.1. Нейросетевые технологии и методы работы с ними.

1.2. Г енетический алгоритм.

1.3. Метод генетического программирования.

1.4. Автоматическое формирование нейронной сети.

1.5. Проверка работоспособности на тестовых задачах.

Глава 2. Интеллектуальные системы на нечеткой логике

2.1. Нечеткая логика и системы на нечеткой логике.

2.2. Автоматизированное формирование базы нечетких правил.

2.3. Настройка семантики лингвистических переменных.
2.4. Тестовая задача построения нечеткого контроллера.
2.5. Формирование базы правил методом генетического программирования
2.6. Проверка работоспособности на тестовых задачах.
Глава 3. Практическая реализация
3.1. Комплексная процедура использования эволюционных
алгоритмов, автоматически формирующих нечеткие системы управления и нейронные сети
3.2. Профаммная система, автоматически генерирующая нейросетевые модели
3.3. Профаммная система, автоматически генерирующая нечеткие
логические системы
3.4. Практическая реализация
Выводы.
Заключение.
Список используемой литературы


И'/у, после чего, от полученной суммы берется функция (в общем случае не линейная, однако практикуют и линейные функции активации), значение которой и является выходом нейрона-^,. Уі =/(ХК •*,)+«',,,) (1. Основные типы активационных функций приведены в таблице 1. Таблица 1. Полулинейная /(*) = Ї0, 5^0 {л, . Полулинейная с насыщением /(*) = ¦ 0, ? Объединяя нейроны в сети, мы получаем НС. Модели нейронных сетей. Нейроны можно связывать различными способами. Однонаправленные сети - персептрон. Радиальные нейронные сети. Сети Хопфилда. Сети Хемминга. Сети Кохонена. Первые две модели относятся к сетям с прямым распространением, а остальные модели относятся к рекуррентным. Подробнее о моделях 3-5 можно узнать в [, , ]. Мы сосредоточим свое внимание на первых двух моделях. Однонаправленная НС - сеть, в которой сигнал распространяется только в одном направлении: от входа к выходу. Частный случай такой сети приведен на рисунке 1. Нейронные сети прямого распространения состоят из входного слоя (обычно число нейронов на входном слое равно количеству входов решаемой задачи), выходного слоя (количество нейронов на выходном слое равно количеству выходов решаемой задачи) и скрытых слоев. Скрытых слоев может быть один или больше. Радиальная нейронная сеть отличается от персептрона тем, что все нейроны такой сети имеют радиальную базисную функцию активации (таблица 1. Методы обучения нейронных сетей. Обучение НС состоит в выборе весовых коэффициентов и/или числовых параметров активационных функций нейронов таким образом, чтобы сеть наилучшим образом решала задачу. Все методы обучения можно разделить на два основных класса: обучение с учителем и обучение без учителя. Обучение с учителем происходит на основе выборки (обучающая выборка), в которой собрано некоторое количество примеров - входов - и соответствующих им выходов. Обучение без учителя - обучение, не использующее обучающую выборку []. Одним из наиболее распространенных методов обучения с учителем является метод обратного распространения ошибки. Идея данного метода заключается в распространении ошибки от выхода к входу, сопровождающемся корректировкой весов таким образом, чтобы ошибка уменьшалась. Градиент в данном алгоритме вычисляется по рекуррентным формулам от нейронов выходного слоя к входному слою, что делает алгоритм удобным для обучения многослойных сетей. Подробнее с данным методом можно познакомиться в []. Замечание. Данный алгоритм применим только для полносвязных сетей с послойным распространением сигнала. Для произвольных сетей в качестве алгоритма обучения с учителем можно использовать любой алгоритм многомерной оптимизации [] минимизирующий критерий (1. Примером таких алгоритмов могут быть: градиентный алгоритм, алгоритм сопряженных градиентов, генетический алгоритм, алгоритм имитации отжига и многие другие. Алгоритмы обучения с учителем - мощное средство исследователя, однако не во всех задачах существует обучающая выборка. В этом случае используют обучение без учителя. Хебба, алгоритм Кохонена, алгоритм типа «победитель получает все». В данной работе используется обучение с учителем. Подробнее с ними можно познакомиться в [, , ]. Выбор структуры нейронной сети. Практически в любом нейросетевом пакете пользователю предлагается ввести структуру НС. Существует два основных направления в вопросе выбора структуры НС []. Первое направление заключается в том, что изначально задается сеть большего объема, чем необходимо для решения задачи. После того, как сеть с выбранной архитектурой обучилась на задачу, используя некоторые методики, удаляют мало значимые нейроны и связи до тех пор, пока ошибка НС увеличивается незначительно. Останов происходит на некотором шаге, после которого изменения структуры НС влечет за собой значительное увеличение ошибки. Наиболее ярким представителем данного метода является метод контрастирования. Идея данного метода заключается в том, что для каждого параметра НС (связи, нейрона, входа) вычисляется некоторый показатель значимости. Например, можно усреднить показатель значимости по всему обучающему множеству или выбрать максимальный из них. Приведем краткий алгоритм контрастирования НС. Вычислим показатели значимости.