Использование дополнительной информации при оценке вероятностей и интерпретации натурного эксперимента

• Автор: Тарима, Сергей Сергеевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2002
• Место защиты: Томск
• Количество страниц: 149 с. : ил

ОГЛАВЛЕНИЕ

СПИСОК ОБОЗНАЧЕНИЙ

ВВЕДЕНИЕ

ГЛАВА 1. МЕТОДЫ ИСПОЛЬЗОВАНИЯ ДОПОЛНИТЕЛЬНОЙ ИНФОРМАЦИИ

1.1. МЕТОД КОРРЕЛИРОВАННЫХ ПРОЦЕССОВ

1.2. МЕТОД ПРОЕКЦИЙ

ГЛАВА 2. АДАПТИВНЫЕ ОЦЕНКИ ВЕРОЯТНОСТЕЙ СОБЫТИЙ

2.1. ПЕРВАЯ АДАПТИВНАЯ ОЦЕНКА

2.2. ВТОРАЯ АДАПТИВНАЯ ОЦЕНКА

2.3. ТРЕТЬЯ АДАПТИВНАЯ ОЦЕНКА

2.4. СРАВНИТЕЛЬНЫЙ АНАЛИЗ АДАПТИВНЫХ ОЦЕНОК

2.5. УЧЕТ ИНФОРМАЦИИ О ПОЛНОЙ ГРУППЕ СОБЫТИЙ В ПЕРВОЙ АДАПТИВНОЙ ОЦЕНКЕ
2.6. ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ СГЛАЖЕННОЙ ФУНКЦИИ
РАСПРЕДЕЛЕНИЯ
2.7. ОЦЕНКА С АПРИОРНОЙ ДОГАДКОЙ
2.8. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ОЦЕНОК С УЧЕТОМ ИНФОРМАЦИИ О ПОЛНОЙ ГРУППЕ СОБЫТИЙ
ГЛАВА 3. ОЦЕНКИ С УЧЕТОМ ПРОПОРЦИЙ И УСЛОВНЫХ
ВЕРОЯТНОСТЕЙ
3.1. ЗНАНИЕ ПРОПОРЦИЙ И УСЛОВНЫХ ВЕРОЯТНОСТЕЙ
3.2. МИНИМИЗАЦИЯ РАССТОЯНИЯ КУЛЬБАКАЛЕЙБЛЕРА
3.3. МИНИМИЗАЦИЯ РАССТОЯНИЯ ЕВКЛИДА
3.4. ПРОИЗВОЛЬНЫЙ КРИТЕРИЙ КАЧЕСТВА
3.5. УЧЕТ ЗНАНИЯ ВЕРОЯТНОСТЕЙ ДВУХ СОБЫТИЙ
ГЛАВА 4. ОЦЕНИВАНИЕ ПО ДАННЫМ С ПРОПУСКАМИ
4.1. СПОСОБЫ БОРЬБЫ С ПРОПУСКАМИ
4.2. ПРИВЛЕЧЕНИЕ ИНФОРМАЦИИ ИЗ ДРУГИХ ВЫБОРОК
4.3. ОЦЕНКИ ВЕРОЯТНОСТЕЙ ПО ДАННЫМ С ПРОПУСКАМИ ЗАКЛЮЧЕНИЕ
ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ ЛИТЕРАТУРА
СПИСОК ОБОЗНАЧЕНИЙ
В тексте диссертации принят следующий список сокращений и обозначений
1. СКО среднеквадратическая ошибка.
2. МП метод проекций.
3. МКП метод коррелированных процессов.
4. МММП метод максимального маргинального правдоподобия.
5. ЦПТ центральная предельная теорема.
, ч 1, А истина,
6. индикаторная функция.
О, А ложь.
7. е принадлежит.
8. 1Ах1хеЛ.
9. д9
. Ця, 1в а,,а2,.,ад векторстрока размерности э.
1КЬ
2. 2т
ЧЛ 2 ту
матрица размерности зхт.
. 3 существует.
. V для каждого, для любого.
. И конец доказательства леммы или теоремы.
. Кг матрица, являющаяся транспонированной для матрицы К, Т символ транспонирования.
. К матрица, являющаяся обратной для невырожденной мат
рицы К, 1 символ обратной матрицы.
. определение конечного или счетного числа элементов.
. 1 определение отрезка борелевской прямой, включая границы отрезка.
. определение отрезка борелевской прямой, не включая
границы отрезка.
. символ слабой сходимости.
. Сп число сочетаний из п по 5.
. соответственно математическое ожидание, дис
персия и СКО случайной величины .
. Ф функция распределения стандартного нормального закона .
сией а2 . В случае многомерного нормального распределения а вектор средних, а а2 дисперсионная матрица.
. 0 пустое множество.
. А дополнение к множеству А .
. закон распределения случайной величины

нормальное распределение со средним а и диспер
ВВЕДЕНИЕ
Актуальность


Подбор параметров заданного параметрического распределения осуществляется, исходя из максимизации логарифма правдоподобия. Причем упомянутое параметрическое семейство распределений включает не только распределение исследуемых признаков, но и распределение пропусков, как отдельную составляющую. В [] предложено разделять «вероятностные» и «структурные» пропуски. Вероятностные» пропуски могут возникать в выборке по причине существования вероятности непопадания наблюдения в выборку, а «структурные» - связаны с выбранной моделью. В работах Дмитриева Ю. Г. и Устинова Ю. К. [], Тарасенко П. Ф. [] разработаны процедуры по вовлечению дополнительной информации в оценивание функционалов от распределений . Отметим работы Гуревича (например, []} по оцениванию функционалов от распределений с привлечением дополнительной информации. Построение, исследование и проведение сравнительного анализа на ЭВМ оценок вероятностей одних событий с учетом знания вероятностей полной группы других событий . Модификации эмпирических оценок вероятностей с учетом знания пропорций вероятностей, условных вероятностей, оценок вероятностей событий, построенных по данным предыдущих экспериментов, анализ свойств таких оценок. Построение оценок вероятностей по данным с пропусками, изучение их свойств. Анализ влияния учета дополнительной информации на качество оценок. Для построения оценок в работе использовались: метод проекций с расстоянием Кульбака-Лейблера []; метод коррелированных процессов []; метод максимального маргинального правдоподобия [] . Свойства полученных оценок анализировались с помощью аппарата теории вероятностей и математической статистики. Для анализа качества оценок при конечных объемах наблюдений проводилось имитационное моделирование на ЭВМ. В качестве инструментальных средств использовались Microsoft Excel, Visual Basic for Application, C++, STL. В явном виде посредством метода проекций с расстоянием Кульбака-Лейблера получена оценка вероятности события с учетом знания вероятностей полной группы событий. Построены и исследованы новые оценки вероятности с учетом знания вероятностей полной группы событий. Предложено обобщение метода коррелированных процессов на случай учета эмпирических оценок вероятностей, построенных по другим взаимно независимым выборкам. Доказана асимптотическая нормальность полученных оценок. Предложен способ оценивания вероятностей событий по данным с пропусками, комбинирующий идею метода максимального маргинального правдоподобия и обобщение метода коррелированных процессов на случай учета несмещенных оценок вероятностей, сформированных по другим выборкам. Проведен сравнительный анализ качества оценок при конечных объемах наблюдений. Имеется несколько предметных областей, в которых возникают проблемы, рассматриваемые в данной работе. Первой отметим обработку данных с пропусками, представленными в табличном виде [4, 9, , , ) . Microsoft Excel воспринимает пропущенные данные как нуль [9] (согласно установкам по умолчанию). Некоторые статистические процедуры, поставляемые в Statistica, SPSS, SAS и др. В основном эти алгоритмы осуществляют замену пропущенных данных, например, средними значениями переменной. Стратегия "casewise deletion" в общем случае неприемлема, поскольку интересны выводы относительно всей исследуемой популяции, а не только той её части, для которой отсутствуют пропуски [, ]. В некоторых случаях "pairwise deletion" может быть гораздо более полезна, чем "casewise deletion", например, в оценивании матриц ковариаций. С другой стороны, уже реализованы и используются специализированные методы обработки данных с пропусками. Например, ЕМ-алгоритм, основанный на численной реализации метода максимального маргинального правдоподобия [] . Другой областью, использующей оценки вероятностей, являются экспертные системы, осуществляющие принятие решений посредством логического вывода. Машины логического вывода многих систем искусственного интеллекта используют базы знаний, определенные набором правил. Представляется возможным использовать некоторые из предлагаемых методик для формирования и пополнения базы знаний из обучающих выборок (, , , 6.