Рекуррентные алгоритмы обучения и самообучения в теории распознавания образов

• Автор: Измакова, Ольга Анатольевна
• Шифр специальности: 01.01.09
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Санкт-Петербург
• Количество страниц: 109 с.

1 Задача распознавания образов
1.1 Обучающиеся опознающие системы
1.2 Задача распознавания как задача
аппроксимации индикаторной функции
1.3 Линейная разделимость образов
1.3.1 Выпуклые множества на единичном кубе
1.4 Нелинейная разделимость образов
1.4.1 Комитет неравентсв
1.4.2 Переход в спрямляющее пространство
1.5 Самообучение
1.5.1 Автоматическая классификация сигналов
1.5.2 Методы стохастической оптимизации
в задаче самообучения
1.6 Алгоритм локального обучения
2 Задача аппроксимации функций
2.1 Среднеквадратичное приближение
2.2 Алгоритм антиградиентного спуска
2.3 Система нормальных уравнений Гаусса
в стандартной задаче аппроксимации
2.4 Последовательная аппроксимация
2.4.1 Метод последовательного проектирования
2.4.2 Последовательное проектирование
в случае одномерных подпространств
2.5 Кусочно-параметрическая аппроксимация
2.6 Метод локальной аппроксимации

2.7 Выбор системы базисных функций
3 Рандомизированные алгоритмы стохастической оптимизации в задаче самообучения
3.1 Алгоритмы стохастической оптимизации
с возмущением на входе в задаче самообучения
3.1.1 Примеры применения представленных алгоритмов
4 Применение рекуррентных алгоритмов обучения
4.1 Метод группового учета аргументов
4.2 Нейроны, нейронные сети и методы их обучения
4.2.1 Описание искусственных нейронных сетей
4.2.2 Локальная аппроксимация в нейросетях
4.2.3 Алгоритмы самообучения для нейронных сетей
Заключение
Библиография
Научные исследования, связанные с развитием теории распознавания образов, не теряют своей актуальности более полувека. Параллельно с рождением и развитием новых прикладных областей науки возникает необходимость и в новых математических инструментах распознавания, обращение к которым позволит получать решения возникающих в этих областях задач. В частности, возникает потребность в алгоритмах, приспособленных к применению в нестандартных, с точки зрения развитой ранее теории, условиях.
Литература, посвященная распознаванию образов, весьма обширна. К ней относятся как работы теоретического характера ([1], [17], [20], [28], [43], [44], [47] [48], [49], [50], [52]—[54]), так и работы, в которых обсуждаются вопросы функционирования конкретных опознающих систем ([21], [33]). Такое разделение достаточно условно, поскольку большинство работ первой группы также содержит практические рекомендации и результаты моделирования конкретных опознающих систем. В перечисленных выше монографиях и статьях можно найти детальное обсуждение различных постановок задач теории распознавания и методов их решения.
В настоящей работе использованы геометрический (экстраполяционный) подход и подход на основе методов стохастической аппроксимации. Традиционными недостатками значительного числа алгоритмов, развитых в рамках указанных подходов, являются неприменимость в условиях большой размерности и/или отсутствие состоятельности без достаточно ограничительных условий на неконтролируемые возмущения. Между тем, многие из возникающих на современном этапе практических задач характеризуются высокой размерностью. Кроме того, при рассмотрении задач с помехами желательно делать лишь минимальные предположения об их статистических свойствах.

Глава 2. Задача аппроксимации функций
каждом шаге оценивается отношение объема очередного параллелепипеда к объему предыдущего параллелепипеда, порожденного “невырожденными” векторами. При нормированных векторах отношение таких объемов характеризует угол, образуемый между очередным испытываемым вектором и линейной оболочкой уже отобранных векторов. Поэтому если этот угол мал, то испытуемый вектор отбраковывается (его индекс объявляется особым), в противном случае коллекция отобранных векторов пополняется. Отобранные векторы “сильно независимы”. Когда отбор закончен, исходная задача заменяется следующей: отыскивается ортогональная проекция вектора / на линейную оболочку отобранных векторов, что может быть сделано, например, с помощью обычного метода Гаусса или любым другим стандартным способом решения линейной системы уравнений с невырожденной матрицей коэффициентов. Утверждение 6 гарантирует, что найденное таким способом решение является близким к точному в смысле малости невязки. Этот результат геометрически также очевиден: невязка определяется скалярным произведением отбракованного вектора <р1 и разностью между вектором / и его ортогональной проекцией на отобранные векторы. По способу отбраковки вектор <р1 имеет малую проекцию на направление, ортогональное линейной оболочке уже отобранных векторов. Поэтому упомянутое скалярное произведение будет также мало. Это геометрическое рассуждение незначительно отличается от строгого доказательства малости невязки. В описанном алгоритме, кроме того, применен метод последовательного преобразования системы нормальных уравнений Гаусса к треугольному виду, позволяющий довольно просто найти нужную проекцию вектора /.
Можно показать, что при малом с? в обобщенном алгоритме Гаусса найденный вектор Т обеспечивает не только малость невязки, но и близость минимизируемого функционала (2.6) к его минимальному значению (см. [44], теорема 1.4.5).
2.4 Последовательная аппроксимация
Итак, минимизация функции (2.3) может быть осуществлена либо с помощью рекуррентного алгоритма (2.7), либо решением системы нормальных уравнений Гаусса (2.12). Решение уравнения (2.12) может быть найдено, например, с помощью алгоритма Гаусса, если матрица коэф-