Построение кусочно-линейного классификатора по минимуму расстояния в условиях ограниченного объема обучающей выборки

• Автор: Юшкявичюс, Зигмонтас-Кястутис Зигмович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 1984
• Место защиты: Вильнюс
• Количество страниц: 216 c. : ил

1.1. Задача классификации при ограниченном

объеме выборки .

1.2. Кусочнолинейный классификатор по

минимуму расстояния. Общие сведения.

1.3. Проблемы построения кусочнолинейного классификатора по минимуму расстояния при ограниченном объеме обучающей выборки
Глава II. ВЕРОЯТНОСТЬ ОШИБКИ КЛАССИФИКАЦИИ КУСОЧНОЛИНЕЙНОГО КЛАССИФИКАТОРА ПО МИНИМУМУ РАССТОЯНИЯ.

2.1. Условная вероятность ошибки классификации.

2.2. Ожидаемая вероятность ошибки классификации

2.3. Асимптотическая вероятность ошибки классификации .

2.4. Вычислительные аспекты определения вероятности ошибки классификации.

2.4.1. Упрощенные способы вычисления вероятности ошибки классификации.

2.4.2. Вычисление ожидаемой вероятности ошибки классификации способом моделирования условной вероятности ошибки классификации .
Глава III. ВЛИЯНИЕ ОГРАНИЧЕННОСТИ ОБУЧАЮЩЕЙ ВЫБОРКИ НА ВЕРОЯТНОСТЬ ОШИБКИ КУСОЧНОЛИНЕЙНОГО КЛАССИФИКАТОРА ПО ШНИМУМУ РАССТОЯНИЯ.
3.1. Влияние ограниченности объема обучающей выборки. Случай М 2.
3.2. Влияние ограниченности объема обучающей выборки. Случай И 2.
3.3. Эксперименты с реальными данными
3.4. Сравнение с линейным классификатором евклидова расстояния
Глава 1У. ПОСТРОЕНИЕ КУСОЧНОЛИНЕЙНОГО КЛАССИФИКАТОРА ПО ШНИМУМУ РАССТОЯНИЯ В УСЛОВИЯХ ОГРАНИЧЕННОГО ОБЪЕМА ОБУЧАЮЩЕЙ ВЫБОРКИ.
4.1. Оценка вероятности ошибки классификации
4.1.1. Модифицированный метод скользящего экзамена ИЗ
4.1.2. Модифицированный метод переклассификации Ц
4.2. Подбор числа эталонов.
4.3. Определение представительности обучающей выборки
4.4. Упрощенный способ определения эталонов
4.5. Испытание методики построения кусочнолинейного классификатора решением конкурсной задачи по распознаванию.
4.6. Решение практических задач построения кусочнолинейного классификатора
4.6.1. Решение двух задач по построению алгоритмов распознавания шумящих механизмов.
4.6.2. Синтез алгоритма распознавания
функционального состояния сердечнососудистой системы по ритмограмме
ЗАКЛЮЧЕНИЕ .
Ж ТЕРАТУРА
ПРИЛОЖЕНИЯ .
Список сокращений и основных обозначений
ВОК вероятность ошибки классификации ДФ дискриминантная функция КМ ковариационная матрица КЛ кусочнолинейный
МБР минимум внутригруппового рассеивания
МП максимальное правдоподобие
В объем обучающей выборки
Е символ математического ожидания
V символ дисперсии
1 ый класс
ц. ый подкласс I ого класса
М число подклассов в классе
вектор средних значений признаков в классе
вектор средних значений признаков в подклассе ои
РЫ априорная вероятность класса и
РбО априорная вероятность подкласса дисперсия признаков внутри подклассов
I единичная матрица
У хХрт классифицируемый вектор, Т символ
операции транспонирования вектора р число признаков
Г1 число реализаций в обучающей выборке из класса и.
СХ дискриминантная функция
условная ВОК Е ожидаемая ВОК
Р асимптотическая ВОК
Р бейесовая ВОК
л
Р, оценка ВОК по контрольной выборке
Л
1 оценка ВОК методом скользящего экзамена
Р . оценка ВОК модифицированным методом скользящего
л
экзамена
оценка ВОК методом переклассификации
Р оценка ВОК модифицированным методом переклассифика
ции
а, функция мерного нормального распределения с нулевым средним и ковариационной матрицей Э , СХ.,.С1а аргументы функции Е,.
8
ВВЕДЕНИЕ


Поэтому при построении классификатора приходится идти другими путями. Общеизвестный подход состоит в том, что классификатор строится по бейесовой схеме, подставляя в 1. XI и Рш их оценки 2 . Однако этот путь не является единственным. Имеется, например, целая группа алгоритмов классификации, основанных на различных предположениях о виде дискриминантных функций. Примером могут служить классификаторы, минимизирующие функцию эмпирического риска ЮЗ . Большую группу составляют также эвристические алгоритмы классификации, такие как, например, кусочнолинейные классификаторы . Согласно Ш. Ю.Раудису , в настоящее время известно более ста статистических алгоритмов классификации, построение которых основано на различных принципах. Обзоры этих алгоритмов приведены в,,. Несмотря на разнообразие подходов, всех их объединяет то, что при построении классификатора исполь
зугатся некоторая модель напр. Обучающая выборка представляет собой набор реализаций вектора У где ХМ ая реализация из класса , 1 их число. Будем предполагать, что выборочные реализации выбраны из генеральных совокупностей случайным образом и между собой независимы. С использованием обучающей выборки находится оценка вектора
параметров Дф 0 . Качество классификатора, обучаемого с использованием выборки, характеризует ВОК нескольких видов,, ЮО. ВОК классификатора, обучаемого по конкретной выборке, называется условной вероятностью ошибки классификации. РЦ ЧХ,ШРщ, ХЦс1Х. Так как обучающая выборка является случайной, то случайной является и условная ВОК Р . Распределение является основной характеристикой качества классификации при ограниченном объеме обучающей выборки. Это распределение зависит от вида и параметров распределения признаков XI . РбО , вида и способа построения классификатора, объема обучающей выборки. ВОК, выражаемая формулой 1. Математическое ожидание условной ВОК будем называть ожидаемой вероятностью ошибки классификации. Пт ЕР 1. Если оценки параметров модели классов являются состоятельными, асимптотическая ВОК Р, может быть определена по формуле условной ВОК 1. В случае, если классификатор строится по бейесовой схеме, модель классов соответствует действительности и оценки параметров модели являются состоятельными, асимптотическая ВОК совпадает с бейесовой ВОК. В противном случае всегда . Отношение представляет собой среднее относительное увеличение ВОК, изза недостаточно хорошего обучения классификатора, и характеризует как степень обученности классификатора, так и его чувствительность к ограниченности В. Согласно 1. Таким образом, в отличие от бейесового классификатора, в
случае, когда классификатор строится по обучающей выборке, его качество характеризуется не одной, а тремя ВОК условной ВОК Р, 1. ВОК ЕР 1. ВОК
1. Выбор критерия при поиске наилучшего классификатора зависит от решаемой задачи. Например, в случае, если В не является фиксированным и постепенно возрастает, имеется возможность уточнять параметры классификатора и улучшать работу классификатора. В случае, если В фиксирован, обычно наибольший интерес представляет условная ВОК . Однако задача выбора и построения наилучшего классификатора по условной ВОК, как показано в , может быть успешно решена лишь при достаточно большом В. Поэтому при небольшом В целесообразно рассматривать процедуры построения наилучшего классификатора в среднем, используя в качестве критерия точности ожидаемую ВОК ЕР. В настоящей работе мы будем решать задачу построения классификатора при фиксированном В и больше всего будем интересоваться процедурами наилучшего классификатора в среднем, по критерию ожидаемой ВОК Е . Выбор наилучшегоклассификатора и его построение в условиях ограниченного В является сложной задачей и однозначного решения не имеет, даже при фиксированном критерии точности. Успех при решении этой задачи зависит, в первую очередь, от имеющейся и используемой информации о классах, такой как, например, сведения о виде X I , ее гладкости, модальности. Чувствительность различных классификаторов к ограниченности В неодинакова.