Некоторые модификации процедур стохастической аппроксимации

• Автор: Никитенко, Валентин Гаврилович
• Шифр специальности: 01.01.09
• Научная степень: Кандидатская
• Год защиты: 1984
• Место защиты: Москва
• Количество страниц: 95 c. : ил

I. Исследование процедуры Кифера-Вольфовица для нахождения точки экстремума функции регрессии с оцениванием 2п

второй производной

§ I. Основные леммы

§ 2. Описание исследуемой процедуры и условий на функцию регрессии

§ 3. Сходимость процедуры поиска минимума ,с оценивание „

ем второй производной

§ 4. Сходимость с вероятностью I последовательности

случайных величин Вп к значению второй производной функции регрессии в точке экстремума

§ 5. Скорость СХОДИМОСТИ процедуры И последовательное- оо

ти А а оценок второй производной р"(6)

§ 6. Асимптотические свойства процедуры с оцениванием
второй производной. Оптимальность процедуры
П. Процедуры поиска экстремума функции регрессии с исполь- 4п
зованием метода наименьших квадратов и сплайнов
§ I. Необходимые сведения
§ 2. Построение процедуры поиска экстремума функции
регрессии с использованием метода наименьших квадратов
§ 3. Сходимость процедуры с вероятностью I
§ 4. Поведение процедуры с использованием метода наименьших квадратов при невыпуклых функциях; регрес-

§ 5. Минимизация функции регрессии с использованием со
интерполяционных и сглаживающих сплайнов
§ 6. Некоторые результаты экспериментального исследо-
вания алгоритмов на ЭВМ
Заключение
Приложение
Литература

Настоящая работа посвящена исследованию процедур стохастической аппроксимации.
Постановка задачи. Цусть ( f (X, CV), Х$ IR., аХ€ 52} -семейство случайных величин, заданных на некотором вероятностном пространстве ( £2 г Lb, Р ) и отвечающих действительно-му параметру - соответствующее семейство функций распределения, функция F(X) - Flf (X, UX)
(здесь и далее М обозначает математическое ожидание) называется функцией регрессии. Задача состоит в решении уравнения
F(x) =ос (o.i)
при некотором фиксированном ol или в отыскании точек экстремумов функции F (X) . При этом предполагается, что функции распределения Н (у!*) неизвестны, но зато для всех значений параметра X (или для некоторого подмножества, на котором решается задача) можно производить независимые наблюдения случайной величины f (X) (мы часто будем опускать знак о?" при написании величины f(X, и?)» Это позволит упростить запись формул и не приведет к недоразумениям).
Многие идеи метода стохастической аппроксимации были обсуждены еще в 194I г. в статье Х.Хотеллинга /I/. Примерно в это же время появились родственные результаты и в работах других авторов. Но лишь Роббинс и Монро в 1951 г. /2/ в своей основополагающей работе дали формальную математическую трактовку этого вопроса. Они предложили метод решения уравнения (0.1) при довольно общих предположениях о функции F(x)

и функциях распределения Н (у /X) . Предложенная ими
процедура (под процедурой в стохастической аппроксимации понимается способ построения последовательности случайных величин, сходящихся к искомому значению в каком-ппибо вероятностном смысле) называется именем своих авторов. Она состоит в следующем: пусть Г(Х)> оС при Х> В и РСХ)^оС при X0 » тогда определим последовательность с.в. рекуррентной формулой
(0.2)
где - действительные числа, <гА ;> О , а - случайная величина с распределением Н( у/Хл)
В 1952 году Кифер и Вольфовиц /2/ предложили процедуру для нахождения точки максимума функции регрессии, которая записывается в виде
Х'-Х+а. Т" '

Лі*'
(0.3)
где и - положительные числа, а /„ и имеют распределения И (у / Х„+СК ) и Н Су / ХИ-С п.) соответственно.
Авторами процедур (0.2) и (0.3) были получены доказательства ИХ СХОДИМОСТИ (т.е. СХОДИМОСТИ Хм. к искомой точке) в среднеквадратичном. Впоследствии /3/ была доказана для них и сходимость почти наверное (п.н.). Свойства про-

§ 2. Построение процедуры поиска экстремума функции регрессии с использованием метода наименьших квадратов
Пусть функция регрессии Г(Х) - выпуклая дважды дифференцируемая функция на (Я . (2.1)
Предположим, что функция РГХ/) и случайные величины ■р(Х) таковы, что известна функция £ (Ь) , удовлетворяющая условию
веер [/р'Ьл + /Га)/*М(*)!V
(2.2)
Введем обозначения:
21. [Ш-НХ))](Я-Х;)
* = 21 Г А -Л, Г (2.3)

А- с
(2.4)
Здесь и далее знак означает суммирование по двум
индексам и п J , причем