Разработка и исследование алгоритмов построения иерархических нейросетевых комплексов для классификации данных физических измерений

• Автор: Орлов, Юрий Всеволодович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Москва
• Количество страниц: 135 с. : ил

содержание диссертации.

Публикации.

Глава 1. Обзор литературы

Многослойный перцептрон

Архитектура.

Алгоритм обратного распространения ошибки.

Достоинства и недостатки многослойного перцептрона

Модификации алгоритма обратного распространения.

Подстройка скорости обучения

Использование момента.

Пакетная подстройка весов.

Методы обучения второго порядка.
Методы глобального поиска.
Методы оптимизации архитектуры МСП
Оценка оптимального размера скрытого слоя.
Методы прореживания весов.
Конструктивные методы.
Контроль переучивания.
Сочетание алгоритма обратного распространения и самоорганизации.
Нейросетевые комплексы.
Преимущества модульности.
Методы построения нейросетевых комплексов.
Параллельная организация модулей
Последовательная организация модулей
Модульные схемы для предобработки данных
Анализ временных рядов с использованием модульных схем
Глава 2. Нсйросетсвая система объективной диагностики дефектов слуха.
Постановка задачи
Сбор данных
Нейросетевой фильтр для предобработки сигналов.
I Стратегия постепенного усложнения тренировки
Результаты использования фильтра для КСВП.
Результаты использования фильтра для ДСВП.
Нейросетсвая система для автоматического определения слухового порога по КСВП Нсйросетевая система для автоматического определения слухового порога по ДСВП
Перспективы и области применения системы.
Глава 3. Нейросетевая система экспрессдиагностики органического загрязнения водных
Постановка задачи
Анализ СФП с помощью нейросетей
Стратегия постепенного усложнения тренировки
Концепция иерархических нейросетевых комплексов.
Результаты численных экспериментов
Классификатор для идентификации загрязнителей.
Классификатор для определения обобщенных классов
Анализ СФП на основе методов линейной алгебры.
Математическая модель.
Построение эталонов и распределение шума прибора
Распознавание загрязнителя и измерение концентрации.
Определение минимальной обнаружимой концентрации
Результаты численных экспериментов
Области применения системы экспрессдиагностики
Глава 4. Метод адаптивного построения иерархических нейросетевых комплексов
Основополагающие идеи метода.
Алгоритм формирования групп классов
Алгоритм построения ИНК
Свойства алгоритма построения ИНК.
Результаты численных экспериментов.
Двойное нормальное распределение
Одномерное распределение Кантора
Распознавание текстур.
Распознавание гласных.
Сравнение ИНК и стандартного МСП
Дикторонезависимое распознавание изолированных слов.
Подготовка данных.
Стратегия постепенного усложнения тренировки
Описание системы распознавания
Отличительные особенности разработанного подхода.
Глава 5. Метод анализа временных рядов с помощью иерархических нейросетевых
комплексов.
Постановка задачи
Алгоритм формирования групп классов при анализе временных рядов
Алгоритм построения ИНК при анализе временных рядов
Обобщение алгоритма АФГК на случай дрейфового характера изменения типа
динамики.
Результаты численных экспериментов.
Эксперименты с псевдослучайными последовательностями
Переключающаяся динамика
Серия базовых экспериментов.
Сравнение ИНК и стандартного МСП.
Серия экспериментов с границами классов
Серия экспериментов с несбалансированными классами.
Дрейфовый характер изменения динамики
Эксперименты с биомедицинскими данными.
Эксперименты с космофизическими данными
Переключающаяся динамика.
Дрейфовый характер изменения динамики
Возможности предлагаемого метода анализа временных рядов
Заключение
Основные результаты работы
Список литературы


Если при построении какого-либо узла ИНК количество распознаваемых классов в рассматриваемой ветви иерархического дерева велико, а число скрытых нейронов недостаточно для качественного распознавания всех классов, наиболее похожие классы будут объединены в новую ветвь, и задача их распознавания будет решаться на следующем уровне иерархии. На данном уровне иерархии, тем самым, задача классификации будет решена. Если же число классов в ветви мало, а количество скрытых нейронов достаточно для качественной классификации, задача классификации также будет решена. Снижение вероятности попадания в локальный минимум. Предлагаемым алгоритмом осуществляется адаптивная подстройка желаемого выхода с точки зрения минимизации ошибки, что заметно упрощает форму функционала ошибки в пространстве признаков и снижает вероятность попадания системы в локальные минимумы. Гарантированное высокое качество распознавания. При предлагаемом иерархическом подходе используются принципы самоорганизации и постепенной детализации отличительных признаков, что гарантирует высокое качество распознавания НИК. Значительное снижение вычислительной стоимости построения НС классификатора при большом количестве классов. Кроме того, каждый узел должен выделять лишь малое количество отличительных свойств (в случае МСП это означает, что размер скрытого слоя также невелик). Это гарантирует достаточно низкую вычислительную стоимость тренировки узла, а значит, и построения всего ИНК в целом. Повышение интерпретируемости признаков, по которым НС принимает решение о принадлежности анализируемого образа к тому или иному классу или группе образов. Модульность иерархической структуры существенно упрощает архитектуру отдельных ИНС, ее составляющих, что упрощает выделение существенных признаков. В свою очередь, интерпретация отличительных признаков, выделяемых НС в процессе тренировки, заметно упрощается за счет малого количества признаков, выделяемых в каждом узле. Объективный характер объединения классов в группы в иерархической древовидной структуре позволяет делать выводы о схожести групп классов и структуре данных. Были проведены многочисленные эксперименты по классификации разнообразных статических объектов и временных рядов. Разработанные методики обучения нейросетей и построения ИНК были успешно применены при решении ряда практических задач (разработка автоматизированной системы диагностики дефектов слуха, разработка системы экспресс-диагностики органических загрязнителей в воде). Методика решения сложных задач классификации путем построения ИНК, позволяющая значительно упростить как решение задачи автоматизации синтеза нейронных сетей, так и решение задачи классификации в целом. Методика постепенного усложнения тренировки НС, позволяющая сформулировать задачу классификации такой сложности, которая была бы адекватна возможностям используемой нейросети. Алгоритм построения архитектуры ИНК, позволяющий преодолеть ряд принципиально важных недостатков и ограничений традиционных нейросетевых подходов при решении широкого круга практических задач. Теорегическая оценка размера скрытого слоя МСП, достаточного для построения ИНК со 0% классификацией, равная min(2*N, Р-1), где N - размерность данных, Р - количество примеров. IEEE Int. Int. Symposium on the Modern Problem of Hearing Physiology and Pathology. Int. Распознавание образов и анализ изображений: Новые информационные технологии" (РОАИ-3-), Н. Новгород, декабрь г. Int. Int. Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-6-), В. Новгород, октябрь . Диссертация состоит из введения, пяти глав и заключения. В первой главе дается обзор литературы по теме диссертации. Во второй главе описывается построение нсйросстевой системы объективной диагностики дефектов слуха на основе анализа слуховых вызванных потенциалов При построении системы используется стратегия постепенного усложнения тренировки. Система позволяет значительно сократить время обследования пациентов и снизить требования к квалификации медицинского персонала, проводящего обследование. В третьей главе описывается построение нейросетевой системы экологического мониторинга для быстрого автоматического определения органических загрязнений в морских водах.