Методы эмпирического прогнозирования, основанные на устойчивых разбиениях и коллективных решениях

• Автор: Сенько, Олег Валентинович
• Шифр специальности: 05.13.17
• Научная степень: Докторская
• Год защиты: 2006
• Место защиты: Москва
• Количество страниц: 230 с. : ил.

Введение
Глава 1. Существующие подходы к повышению обобщающей способности алгоритмов эмпирического прогнозирования

1.1 Введение

1.2. Методы, основанные на повышении аппроксимирующей способности на обучающей информации

1.3. Методы, основанные на подборе модели, оптимальной по уровню сложности.

1.4.Робастные процедуры.

1.5. Методы регуляризации.

1.6. Коллективные методы

1.6.1 Методы коллективной коррекции для групп алгоритмов.

1.6.2 Методы голосования но множествам закономерностей.

Глава 2. Методы повышения точности эмпирического прогнозирования, основанные на минимизации обобщнной ошибки
2.1. Функционал обобщнной ошибки в задачах прогнозирования скалярных
величин и его составные элементы.
2.2. Способы снижения составляющей нестабильности
2.3. Коллективные методы прогнозирования непрерывных величин, использующие взвешенное голосование
2.3.1. Введение
2.3.2. Метод взвешенных средних, минимизирующий компоненту нестабильности
2.3.3. Метод взвешенных парных регрессий.
2.4. Использование МонтеКарло экспериментов для оценки эффективности коллективных методов
2.4.1 Сценарии экспериментов
2.4.2 Результаты экспериментов для метода среднеарифметических
2.4.3 Результаты экспериментов для метода взвешенных парных регрессий.
2.5 Методы оценивание составляющей нестабильности
2.6 Обобщенная ошибка и методы е снижения в задачах с нескалярными прогнозируемыми величинами.
2.6.1. Случай векторной прогнозируемой величины конечной размерности.
2.6.2. Случай прогнозирования функциональных зависимостей.
Глава 3. Процедуры эмпирического прогнозирования, основанные на взвешенном голосовании по системам базовых множеств в пространстве прогностических переменных.
3.1 Процедура статистически взвешенного голосования
3.1.1 Введение
3.1.1 Максимизации функционала правдоподобия специального вида
3.1.2. Использование процедуры статистически взвешенного голосования для прогнозирования скалярных непрерывных переменных
3.1.3 Использование процедуры взвешенного голосования для оценки кривых вероятности отказов
3.2 Процедура взвешенного голосования, основанная на интервальных оценках функционала локальных потерь
3.2.1 Введение
3.2.2. Неравенства для распределений функций
3.2.3 Метод оценивания весовых коэффициентов, основанный на оптимизации функционала .аТх,и.
Глава 4. Методы распознавания, основанные на голосовании по системам подобластей признакового пространства
4.1. Метод Статистически Взвешенных Синдромов
4.1.1 Введение.
4.1.1. Методы построения синдромов.
4.1.2. Выбор модели разбиений оптимального уровня сложности
4.1.3. Процедура вычисления оценок за классы в методе СВС
4.1.4. Отбор признаков
4.1.5. Решающее правило.
4.2. Метод двумерных линейных разделителей.
4.3. Алгоритм мультимодельного голосования с пропорциональной коррекцией
4.4. Исследование эффективности предложенных алгоритмов
4.4.1. Задачи.
4.4.2. Результаты экспериментов.
Глава 5. Методы повышения стабильности процедур обучения, основанные на идентификации выпадающих наблюдений
5.1. Введение
5.2. МонтеКарло исследования влияния выпадающих объектов на точность множественной линейной регрессии.
5.2.1 Используемые процедуры поиска выпадающих объектов.
5.2.2. Сценарии экспериментов.
5.2.3. Результаты экспериментов.
5.3. Влияние выпадающих объектов на точность распознавания.
Глава 6. Метод оценки статистической достоверности результатов эмпирического прогнозирования, основанный на перестановочном тесте
6.1 Ведение
6.2. Перестановочный тест
6.3. Примеры использования перестановочного теста.
6.3.1. Прогноз результатов терапии рака мочевого пузыря.
6.3.2. Прогноз биологических свойств химических соединений
по их молекулярной структуре
6.4 Точный расчт распределения статистики перестановочного теста опримизируемого функционала качества разбиений при исследований зависимости бинарной величины от непрерывной прогностической переменной
6.4.1.Введени е.
6.4.2 Свойства оптимизируемого функционала качества.
6.4.3 Алгоритм расчета распределения оптимальных значений функционала
качества на множестве всевозможных перестановок.
6.4.4.Численные эксперименты
Глава 7. Метод анализа данных, основанный на достоверных оптимальных разбиениях пространств прогностических переменных
7.1 Введение.
7.2. Метод оптимальных разбиений.
7.3. Оценки эффективности методов анализа данных, основанных на оптимальных разбиениях
7.3.1 Введение
7.3.2. Сценарий генерации выборок.
7.3.3. Методика оценивания эффективности алгоритмов поиска закономерностей.
7.3.4. Результаты тестирования метода ПЗ
7.3.5. Метод максимальной значимости и результаты
его тестирования
7.3.6.Метод условных значимостей
7.3.7. Исследование зависимости эффективности поиска закономерностей от объма обучающей информации
7.3.8. Заключение.
Глава 8. Использование методов распознавания в медицинских исследованиях
8.1. Введение
8.2. Программные средства.
8.2.1. Введение.
8.2.2. Программная система РАЗБИЕНИЯ
8.3. Примеры решенных задач
8.3.1 Прогнозирование исходов психогенных расстройств.
8.3.2 Прогноз результатов лечения остеогенной саркомы
8.3.2.1 Постановка задачи.
8.3.2.2. Прогнозирование гистологического ответа в ходе предоперационной химиотерапии.
8.3.2.3. Прогнозирование отдалнных результатов лечения.
8.3.3 Прогноз динамики депрессивных синдромов в остром периоде сотрясения головного мозга
Приложение
Приложение
Приложение
Список литературы


При этом ая компонента вектора У для объекта 5 принимает значение 1, если б еКп и значение 0 в противном случае. В настоящее время существуют различные подходы к решению задачи прогнозирования вероятности отказов, наиболее известным из которых является использование модели Кокса. Методы, основанные на повышении аппроксимирующей способности на обучающей информации. Среди используемых подходов к увеличению экстраполирующей способности эмпирического прогнозирования в первую очередь следует упомянуть повышение точности аппроксимации зависимости прогнозируемой величины от прогностических переменных на самой обучающей выборке. Одним из способов повышения точности является выбор наиболее подходящей модели вида используемой для аппроксимации параметризованной функциональной зависимости. Такой подход является эффективным в случаях, когда вид зависимости может быть предположен заранее с достаточной долей уверенности. Однако в большинстве случаев его использование затруднено изза высокой трудомкости, связанной с перебором возможных вариантов. Другим подходом является использование моделей общего вида, содержащих богатые семейства функциональных зависимостей. В качестве примеров в частности могут быть приведены известные классы моделей распознающих алгоритмов модели вычисления оценок 5, , , модели типа потенциальных функций 3, ядерные методы, нейросстевые модели типа многослойного перцептрона 4, . Так при обучении нейросетевых алгоритмов типа многослойного перцептрона обычно используется метод обратного распространения ошибки. При обучении алгоритмов типа вычисления оценок используются методы поиска максимальных подсистем систем линейных неравенств , . Ещ одним способом улучшения точности эмпирического прогнозирования путем повышения качества аппроксимации на обучающей информации является построение нового оптимального прогностического алгоритма по множеству обученных заранее алгоритмов с использованием набора корректирующих операций. В работах , предложен широко известный метод построения по множеству априори существующих алгоритмов распознавания А нового алгоритма, превосходящего по точности каждый из алгоритмов из А. В и решающего правила С. А. Метод конструирования новых алгоритмов основан на использовании операций алгебраической коррекции, заданных на множестве числовых матриц, генерируемых операторами из множества В. В . Общие подходы к построению расширений моделей алгоритмов с помощью семейств корректирующих операций развиваются в рамках теории универсальных и локальных ограничений в работах . Конкретные схемы решения задач распознавания и восстановления регрессии с использованием линейных и монотонных корректирующих операций предложены в работе . Основным препятствием для применения параметризованных моделей общего вида при ограниченном объеме обучающей информации является эффект оуегйи перенастройка или сверхнастройка, заключающейся в отрицательном влиянии увеличения сложности используемой модели на экстраполирующую способность полученного прогнозирующего алгоритма. Величина эффекта перенастройки особенно возрастает в случае ограниченного объема обучающей выборки. В связи с этим возникает задача подбора наиболее адекватного уровня сложности параметризованной модели для имеющейся в распоряжении исследователя обучающей информации. Наиболее простым путем решения данной задачи является выбор модели, обеспечивающей наилучшую точность прогноза на некоторой контрольной выборке. Более экономным с точки зрения использования обучающей информации вариантом рассматриваемого подхода является оценивание точности прогноза с помощью процедуры скользящего контроля. Следует отметить, что получаемая оценка сама является случайной величиной, заданной на множестве эмпирических выборок, принадлежащих к той же самой генеральной совокупности и имеющих тот же самый размер Лг, что и исходная обучающая выборка. Причем дисперсия данной случайной величины существенно возрастает с уменьшением объема выборки что может приводить к существенным отклонениям полученных оценок точности от средней точности прогноза на всем пространстве прогнозируемых объектов.