Метод минимизации эмпирического риска при индуктивном построении баз знаний

• Автор: Чистяков, Сергей Павлович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Петрозаводск
• Количество страниц: 142 с. : ил.

Введение О

1 Основные понятия и обозначения

1.1 Статистические решающие функции

1.2 Метод минимизации эмпирического риска

1.2.1 Постановка задачи классификации с учителем .

1.2.2 Емкость класса решающих функций

1.3 Метод структурной минимизации эмпирического риска . .

1.3.1 Описание метода

1.3.2 Метод кросспроверки . . .

1.4 Индуктивное построение баз знаний. Подход КЕХ

1.4.1 Терминология и обозначения.

1.4.2 Определение базы знаний
1.4.3 Алгоритм КЕХ.
1.4.4 Базы знаний и решающие функции.
1.5 Статистические критерии проверки гипотез.
1.5.1 Критерий согласия х2
1.5.2 Критерий однородности х2
1.5.3 Критерий знаков.
1.6 Упорядочение признаков. Алгоритм БеПеГЕ
1.7 Дискретизация непрерывных признаков
1.7.1 Постановка задачи дискретизации и терминология .
1.7.2 Алгоритм дискретизации системы КЕХ.
1.7.3 Алгоритм дискретизации СЫМее
1.7.4 Алгоритм дискретизации САМ
1.7.5 Алгоритм дискретизации ТБЕ
2 Индуктивное построение баз знаний
2.1 Процедуры генерации комбинаций
9 2.1.1 Построение баз знаний по возрастанию
длины антецедента.
2.1.2 Построение баз знаний по возрастанию количества наиболее информативных
признаков антецедента.
2.2 Поиск оптимального класса решающих функций
2.2.1 Схемы реализации метода структурной минимизации эмпирического риска
ф 2.2.2 Нахождение оптимального класса решающих
функций по возрастанию длины антецедента
2.2.3 Нахождение оптимального класса решающих функций по возрастанию количества наиболее
информативных признаков антецедента.
3 Предварительная обработка обучающей выборки
3.1 Нахождение множества наиболее информативных признаков
ф 3.1.1 Постановка задачи.
3.1.2 Пошаговый алгоритм нахождения множества наиболее информативных признаков
3.1.3 Результаты вычислительных экспериментов
3.2 Дискретизация непрерывных признаков .
3.2.1 Постановка задачи.
3.2.2 Алгоритм СЫБрМ
3.2.3 Результаты вычислительных экспериментов
3.3 Система СТАТКОП.
3.3.1 Описание системы СТАТКОП .
3.3.2 Определение факторов риска в кардиологии
3.3.3 Проективные стратегии и современный
потенциал сельских домохозяйств Карелии.
4 Индуктивное построение баз знаний
статистических экспертных систем
4.1 Наилучшие совместные критерии.
4.1.1 Постановка задачи.
4.1.2 Наилучшие двусторонние статистические критерии
4.1.3 Использование эмпирической информации о возможных альтернативах для построения совместных статистических критериев
4.2 Использование частичной априорной информации
для построения двусторонних критериев
4.2.1 Постановка задачи.
4.2.2 Псевдонаилучшие двусторонние критерии.
4.2.3 Интерактивное назначение априорного распределения
4.2.4 Алгоритм интерактивного построения псевдонаилучших двусторонних критериев.
Заключение
Литература
Приложение 1. Пример выходной формы программы построения базы знаний
Приложение 2. Пример выходной формы программы кросспроверки
ф Приложение 3. Пример выходной формы программы дискретизации
Приложение 4. База знаний для кардиологических данных . . .
СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ
ММЭР метод минимизации эмпирического риска
МСМЭР метод структурной минимизации эмпирического риска
эс экспертная система
БЗ база знаний
с.в. случайная величина
ф.р. функция распределения
м.о. математическое ожидание
н.с.к. наилучший совместный критерий
р.н.м. равномерно наиболее мощный
ч.а.и. частичная априорная информация
в.о.к. вероятность ошибочной классификации
р.Ф. решающая функция
к.р.ф. класс решающих функций.
Введение


Заметим также, что алгоритм КЕХ весьма затратен с точки зрения времени вычислений и, учитывая то, что существующие схемы реализации МСМЭР использующие метод кросспроверки требуют многократного прогона этого алгоритма, вопрос разработки экономичных с точки зрения времени вычислений схем реализации МСМЭР весьма актуален. Эффективность системы снижает и отсутствие возможностей для интегрирования в процесс индуктивного обучения априорной информации об информативности признаков, позволяющее уменьшить количество правил БЗ что важно с точки зрения робастности классификатора без потери точности классификации. Наконец, алгоритм дискретизации непрерывных признаков, специально разработанный авторами для системы КЕХ, часто приводит к разбиению на слишком большое число интервалов что снижает точность классификации, поскольку в каждый такой интервал попадает недостаточное для корректного применения статистических критериев количество примеров обучающей выборки и, фактически, может использоваться только для признаков, измеренных в порядковой шкале что отмечалось и авторами КЕХ . Второй круг вопросов, рассмотренных в диссертации связан с построением БЗ статистических ЭС. Одной из основных задач при построении таких БЗ состоит в формировании рекомендаций пользователю по выбору параметров статистических методов, наиболее подходящих в конкретной ситуации . При проверке статистических гипотез важнейшим параметром является уровень значимости критерия. Хорошо известно , что чем меньше вероятность альтернатив некоторого класса, тем меньшим должен выбираться уровень значимости соответствующего критерия в описанной выше схеме. Однако, конкретные процедуры, реализующие этот принцип на основе априорной информации того или иного вида, не разработаны, в связи с чем исследователю приходится полагаться на свой опыт и интуицию. Связь данной тематики с задачей индуктивного построения БЗ заключается в том, что как показано в диссертации задача совместного применения статистических критериев при наличии обучающей выборки о возможных альтернативах может рассматриваться как задача классификации и ММЭР является состоятельным для ее решения, т. ММЭР, к риску наилучшего совместного критерия понятие наилучшего совместного критерия н. Большева Л. Н. 5, введено автором при неограниченном возрастании объема выборки. Другая параллель между этими направлениями состоит в том, что в обоих случаях предложены подходы, основанные на использовании частичной неполной информации при принятии решений. В соответствии с данными целями предметом исследований являлись процедуры генерации комбинаций и индуктивные алгоритмы построения БЗ, схемы реализации МСМЭР, методы и алгоритмы нахождения и упорядочения множества наиболее информативных признаков и дискретизации, статистические критерии проверки гипотез и методы назначения априорных распределений. Основными методами исследований являлись вероятностные и статистические методы, в частности методы байесовской и робастной статистики. При сравнении качества алгоритмов дискретизации и алгоритмов поиска и упорядочения множества наиболее информативных признаков использовалась методика эмпирического сравнения соответствующих индуктивных алгоритмов на реальных задачах из коллекции репозитария задач Калифорнийского университета . Заметим, что такой подход является общепринятым в области индуктивного обучения см. Диссертация состоит из введения, четырех глав, заключения, списка литературы и 4 приложений. Глава 1 носит вспомогательный характер. В ней приведены определения основных понятий и описаны методы и алгоритмы, использующиеся в последующих главах статистические р. ММЭР и МСМЭР, кросспроверка, дается определение БЗ, используемое в диссертации, описаны статистические критерии, алгоритмы дискретизации и упорядочения признаков. Глава 2 посвящена вопросам, непосредственно связанным с индуктивным построением БЗ, основным из которых является борьба с переподгонкой. В разделе 2 приведены разработанные алгоритмы построения БЗ, основанные на модифицированных процедурах генерации комбинаций алгоритма КЕХ и установлены их свойства. В разделе 3 предложены схемы реализации МСМЭР, основанные на использовании частичной информации о качестве оптимальных классификаторов во всех к.