Эффект концентрации меры в статистических задачах непараметрического оценивания

• Автор: Рафиков, Евгений Геннадьевич
• Шифр специальности: 01.01.05
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Москва
• Количество страниц: 73 с.

1 Анализ сходимости эмпирических частот к вероятностям

1.1 Постановка задачи

1.2 Вспомогательные утверждения

1.3 Доказательство основного результата

1.3.1 Симметризация по перестановкам выборки

1.3.2 Оценка частичной суммы гипергеомстрического распределения

1.3.3 Продолжение оценки сверху ДЛЯ 7ГTO)7j(t)

1.3.4 Оценка сверху для т® „(£)

1.3.5 Оценка сверху для T^ n(t)

1.3.6 Оценка интеграла по Ue П Vc

1.3.7 Оценка интеграла по Uc П Vt

1.3.8 Завершение доказательства
1.4 Доказательство основного промежуточного результата
1.4.1 Разложение sup на max и локальный sup
1.4.2 Анализ слагаемого max
1.4.3 Анализ локального sup слагаемого
2 Непараметрическое оценивание функции регрессии
2.1 Введение и постановка задачи
2.2 Оценки сверху в случае неограниченных откликов
2.3 Оценки сверху в случае, когда класс гипотез задаётся в терминах Колмогоровеких поперечников
2.4 Универсальные оценщики
2.5 Оценки снизу
2.6 Оценки снизу для схемы Бернулли

Актуальность работы.
Во многих задачах математической статистики наряду с асимптотическим поведением стохастического объекта важно также знать и его неасимптотическое поведение.
Известно, что если X] ,... ,Хт — одномерные независимые и одинаково распределённые случайные величины, а Р(х) и Рт(х) — соответствующие им настоящая и эмпирическая функции распределения, то имеет место предельное асимптотическое поведение:
Теорема (Колмогоров).
Из теоремы Колмогорова следует также и неасимптотическая оценка: Утверждение 0.1.
Её аналог в случае распределений в Rd был получен Кифером (Kiefer):
Теорема (Кифер). Для произвольного а > 0 сугцествует полоэ/сигпелъиая константа К = K(a,d), такая что для всех т Є N верно:
Эмпирический процесс, который фигурирует в указанных выше результатах, является частным случаем более общего объекта:

00.
Pr j sup IFm(x) - F(x)І > t < К ■ є ^ а)'шф
sup |Рт(Л) — Р(И)|.
(1)

Получение точных оценок для вероятностных хвостов (1) тесно связано с задачей о вероятностях больших уклонений, подробно изучавшейся Саповым [30]. См. также монографию [13].
Большая часть статистической теории обучений также посвящена изучению этой задачи при определённых условиях на вероятностную меру Р(-) и набор множеств А, см. [41, 39, 8]. Для фиксированного множества А и вероятностной меры Р(-) по закону больших чисел имеет место сходимость почти наверное Рт(А) — Р(Д) —» 0 при т —> оо. Более того, известное неравенство Хёфдинга даёт следующую (неасимптотичсскую) оценку на скорость сходимости:
?г{Рт(А) -?{А)> 1} <2е'2ш
Если набор А конечен, то естественно получаем обобщение предыдущего неравенства:
Рг{зир I Рт(А) - Р(Л)| > й < 2А ■ е~Ъти

Однако если семейство А имеет бесконечную мощность, как это и бывает во многих интересных случаях, имеющих прикладное значение, задача становится гораздо более сложной. Оказывается, что ключевую роль в оценках экспоненциального типа для этой задачи играет ряд чисто комбинаторных характеристик семейства А, таких как размерность Вапника- Червонеикиса и энтропия Вапника- Червонснкиса.
Часть результатов в этой области посвящена тому, что на неизвестную меру Р(-) накладываются дополнительные естественные условия. Так, важным является случай, когда мера Р(-) и семейство А таковы, что множество значений мер {Р(Л), А 6 Д} отделено от некоторой окрестности 1/2. Улучшению оценок на поведение вероятностных хвостов для (1) в этом случае посвящена первая часть нашей диссертации. В качестве числовой характеристики такой отделимости мы используем разновидность информации Кулъбака-Лейблера, играющую важную роль в теории информации, см. [19, 5]. Близкие характеристики, такие как расстояние Кулъбака-Лейблера, используются для решения задачи оценивания плотности, см. [7], а также в асимптотической теории оценивания, см. [18].
Для получения экспоненциально быстрых оценок в изучаемом нами случае используется техника из теории эмпирических процессов, что также делает тематику и приёмы, обсуждаемые в диссертации, близкими к таким областям как классическая непараметрическая статистика, семипараметрическая статистика, теория М-оценивания, теория гауссовских процессов и равномерные законы больших чисел и повторного логарифма.
Вторая часть диссертации посвящена современным проблемам регрессионного анализа. Пусть X 6 и У £ М — некоторые борелевские множества.
мы получим те же но порядку оценки. В новых обозначениях (2.8) имеем равенства
Ы!) = £(/) - £(/,) = II/ - Ы1м = ЕА/(/)> (2-12)
1 т
£нМ=ад -ад=адл = - Еад/Дщз)
т 1-і
Имеет место следующая:
Лемма 2.4. Пусть а Є (0,1) — произвольное число, мера р удовлетворяет условиям (2.10) и (2.11) и / € Н — произвольная фиксированная функция. Тогда существуют положительные константы с(ТС,р) и 6(a), для которых выполняются неравенства:
> а} ^ ехр{-6(а) -с(П,р) -те2}, (2.14)
РГ{- ехР{~ь(а) ■ с{П,р) ■ £n(f) ■ те}. (2.15)
Доказательство. Зафиксируем произвольную / Є Н и для z = {{xj,yj)}
определим случайные величины
Xj = (f(xj) -yjf ~ (fP(xj) - уф)2, j = l m.
Тогда
1 m
£„(/) = EX, = И/ - > 0, SnM) = - £ A;,

£nUI ~ £нАЛ __ - x;)
5w(/)+e “ m(EX + e) '
Имеем неравенство:
pr>Q) < min/EexP{,.(EX-X)}y I m(EA' + e) - / - «>ol exp{ou-(EX + £)}
Мы пишем X и EX вместо Xj и EXj, когда в соответствующих выражениях важно знать пе конкретную Xj, а лишь её распределение вероятностей. Легко видеть, что
Xj = (f(xj) - %')2 - (fP(xj) - yjf = (f(xj) - fp(xj)) • (f{xj) + fp{xj) - 2Vj).
В силу того, что Ті — компактное подмножество в пространстве С(Х), а так-же условия (2.10) на yj легко видеть, что случайные величины Xj также