Разработка методологии и программного комплекса для определения существенности входных признаков при нейросетевом анализе данных

• Автор: Гужва, Александр Георгиевич
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Москва
• Количество страниц: 133 с. : ил.

Оглавление
Введение
Актуальность темы
Цель работы. Основные задачи
Основные положения, выносимые на защиту
Научная новизна
Практическая значимость
Апробация работы
Публикации
Краткое содержание диссертационной работы
1 Обзор литературы
1.1 Терминология
1.2 Понятие размерности данных
1.3 Проблема понижения размерности данных
1.3.1 Описание проблемы понижения размерности данных
1.3.2 Проблемы, с которыми помогает бороться понижение размерности
1.3.2.1 Проблема «проклятия размерности
1.3.2.2 Проблема интерпретации исходных данных
1.3.2.3 Проблема получения исходных данных
1.3.3 Подходы к рассмотрению проблемы понижения размерности данных
1.3.4 Некоторые эмпирические рекомендации при проведении понижения
размерности данных
1.3.5 Понижение размерности данных применительно к задачам, отличным от
задач регрессии
1.3.6 Понижение размерности данных применительно к другим классам
адаптивных алгоритмов
1.3.7 Ряд актуальных проблем из области понижения размерности
1.3.8 Некоторые сопутствующие алгоритмы
1.4 Искусственные Нейронные Сети (ИНС)
1.4.1 Модель нейрона
1.4.2 Многослойный персептрон
1.4.2.1 Задача нелинейной регрессии
1.4.2.2 Проблемы построения нейросетевой модели
1.5 Методы анализа существенности входных признаков. Используемые алгоритмы
1.5.1 Понятие существенности входных признаков
1.5.2 Алгоритмы оценки
1.5.2.1 Корреляционный анализ
1.5.2.2 Кросс-энтропийный анализ
1.5.2.3 Семейство алгоритмов «Анализ Весов Нейронной Сети»
1.5.2.4 Линейная регрессия
1.5.2.5 Нейронные Сети с Общей Регрессией
1.5.3 Алгоритмы отбора
1.5.3.1 Алгоритм последовательного добавления признаков
1.5.3.2 Алгоритм последовательного исключения признаков
1.5.3.3 Алгоритм отсечения по порогу
1.5.3.4 Алгоритм использования случайно сгенерированных признаков
1.5.3.5 Алгоритм множественных запусков
1.5.3.6 Алгоритм заданного числа наилучших признаков
1.5.4 Комбинированные алгоритмы
1.5.4.1 Метод Группового Учета Аргументов (МГУА)
1.5.4.2 Г енетическое программирование
1.5.5 О сравнении методов АСВП
2 Модельные и эталонные задачи
2.1 Тривиальные модельные задачи
2.1.1 Цель исследования
2.1.2 Постановка задачи и предобработка данных
2.1.3 Полученные качественные выводы
2.1.4 Выводы
2.2 Задача Фридмана
2.2.1 Цель исследования
2.2.2 Предобработка данных
2.2.3 Рассматриваемые методы АСВП и алгоритмы. Их особенности
2.2.4 Полученные результаты
2.3 Эталонные задачи: небольшие наборы данных
2.3.1 Цель исследования
2.3.2 Предобработка данных
2.3.3 Полученные результаты
2.3.4 Выводы
2.4 Эталонные задачи: большие наборы данных
2.4.1 Полученные результаты
2.5 Положения, выносимые на защиту
3 Методика построения ИНС
3.1 Постановка задачи отбора наиболее существенных признаков
3.1.1 Формальное описание методики
3.2 Разработанная методика. Представление методики в виде блок-схемы
3.2.1 Преимущества использования методики
3.2.1.1 Оценки временных и вычислительных выигрышей
3.2.2 Критерии для включения новых методов АСВП в методику
3.2.3 Совместное использование корреляционного анализа и кросс-энтропийного
анализа
3.2.4 Специальный случай применения методики анализа существенности для 4-х
ступенчатого алгоритма анализа многомерных временных рядов
3.3 Алгоритм параллельного обучения МСП с одним скрытым слоем
3.3.1 Описание алгоритма

если неизвестный сети пример похож на какой-либо из известных сети примеров, то и ответы сети для этого неизвестного примера и для известного примера должны быть схожими. Если на входы нейронной сети подается неизвестный пример, то выходное значение нейронной сеги определяется степенью похожести набора входных значений неизвестного примера на каждый пример из известных. Что такое степень похожести -определяется на тестовом наборе.
В формульном виде запись следующая:
Здесь:
• М'ц есть ьая входная компонента .рого примера, известного сети,
• N - число входов нейронной сети,
• Иу характеризует степень похожести неизвестного примера х на известный пример под номером ф
•а - параметр сглаживания, характеризующий масштаб расстояния в пространстве входных признаков, в пределах которого примеры считаются похожими. Параметр сглаживания подбирается на тестовом наборе.
Существует модификация алгоритма, в котором для каждого входного признака используется свой параметр сглаживания:
На основании подобранных на тестовом наборе значений оу возможно сделать выводы о существенности соответствующих входных признаков. В данной диссертационной работе использовался вариант НСОР с одним параметром сглаживания.
Выход сети определяется следующей формулой:
Здесь: