авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 |   ...   | 5 | 6 || 8 |

«Вероятность, математическая статистика, случайные процессы Учебное пособие Д. Х. Муштари Казанский университет ...»

-- [ Страница 7 ] --

t, y) = p(s, x;

s + s, z)p(s + s, z;

t, y)dz. (5) Разложим p(s + s, z;

t, y) в ряд Тейлора в окрестности точки (s, z = x) по степеням s и z x.

Получаем:

p(s + s, z;

t, y) = 1 2p p p (s, x;

t, y)(z x)2.

(s, x;

t, y)(z x) + = p(s, x;

t, y) + (s, x;

t, y)s + 2 z s z Подставляем в (5), имеем (но все это очень нестрого!):

p(s, x;

t, y) = p(s, x;

s + s, z)p(s, x;

t, y)dz+ p + p(s, x, s + s, z) (s, x;

t, y)sdz+ s 1 2p p (s, x;

t, y)(z x)2 dz.

(s, x;

t, y)(z x)dz + + p(s, x;

s + s, z) p(s, x;

s + s, z) 2 x x Используя аксиомы диффузионных процессов (это еще менее строго!), имеем (четырежды используем (***)):

p(s, x;

t, y) = p(s, x;

t, y)+ 2p p p + (s, x;

t, y)s + (s, x;

t, y)a(s, x)s + (s, x;

t, y)b(s, x)s + o(s).

x s x Дальше сокращаем p(s, x;

t, y) в левой и правой части и все делим на s, получаем обратное уравнение Колмогорова.

Упражнение. Проверьте, что условная плотность винеровского процесса удовлетворяет ак сиомам диффузионных процессов и обоим уравнениям Колмогорова.

§34. Стохастические дифференциальные уравнения Винеровский процесс рассматривается также в радиотехнике и интерпретируется там как результат интегрирования помех белого шума. В теории управления движущими аппара тами интегральное влияние случайной среды (например, порывы ветра, изменения давления) также считается винеровским процессом. Но при этом возникают и другие эффекты – в ре зультате влияния среды меняется положение управляющих аппаратом систем (двигателя), и случайно накопившаяся ошибка может давать при этом дополнительную ошибку. Для описа ния такого рода явлений используется аппарат стохастических дифференциальных уравнений.

Они вводятся с помощью различных стохастических интегралов.

Еще раз напомним, что для упрощения выкладок введем стандартный винеровский про цесс w(t) это винеровский процесс с нулевым сносом m = 0 и единичным коэффициентом диффузии = 1. Произвольный винеровский процесс получается из него линейным преобразо ванием. Мы также изменим несколько обозначения и будем писать все процессы как функции времени (t) 1. Стохастические интегралы.

Стохастические интегралы, в которые входят случайные процессы (t), бывают трех видов:

T {g(t) + f (t)(t)} dt, T f (t)d(t), где f (t) это обычная функция, и самые сложные и случайные – T (t)d(t), где и два случайных процесса.

Стохастические интегралы определяются так же, как и обычные, то есть как предел ин тегральных сумм. Но при определении самых сложных интегралов возникают любопытные проблемы. Пределы интегрирования могут быть другими, но при сделанной выше записи вид но, что в результате интегрирования возникают новые случайные процессы, (T ).

T Интегральные суммы для f (t)w(t)dt записываются очевидным образом:

f (ti )w(ti )(ti+1 ti ), где 0 = t0 t1 · · · tn1 tn = T.

Сходимость интегральных сумм легко доказывается для непрерывной функции f и даже в значительно более общих ситуациях. Проще всего доказывать сходимость в среднем квадрати ческом (то есть n, если |E|n |2 0). Сами интегральные суммы являются интегралами от кусочно постоянных случайных процессов. Знак lim ниже означает предел интегральных сумм.

T В данной ситуации случайная величина f (t)w(t)dt также имеет нормальное распреде ление. Попробуем определить параметры этого распределения, то есть подсчитать среднее и дисперсию. Естественно, что все это мы будем делать не для интеграла общего вида, а лишь для интегральных сумм.

Итак, T (g(ti ) + f (ti )w(ti ))(ti+1 ti ) (g(t) + f (t))w(t)dt = lim E = E i T g(ti )(ti+1 ti ) = = lim g(t)dt.

i Значительно хитрее считаются дисперсия или центральный смешанный момент. При ее подсче те мы вычитаем среднее, то есть убираем неслучайное слагаемое g(t) из под знака интеграла.

T T f (t)w(t)dt h(t)w(t)dt = E 0 f (ti )w(ti )(ti+1 ti ) h(sj )w(sj )(sj+1 sj ) = = lim E i j E (f (ti )w(ti )(ti+1 ti )h(sj )w(sj )(sj+1 sj )) = = lim i j f (ti )h(sj )K(ti, sj )(ti+1 ti )(sj+1 sj ) = = lim i j T T = f (t)h(s)K(t, s)dtds.

0 Напомним, что в нашем случае K(t, s) = min(t, s). В частности, T T T f (t)w(t)dt = f (t)f (s) min(t, s)dtds.

D 0 Если в приближении интегральными суммами использовать в обоих интегралах одно и то же разбиение, то проще вычисляется T f (t)dw(t) = D T T = E f (t)dw(t) f (t)dw(t) = 0 E (f (ti )(w((ti+1 ) w(ti )f (tj )(w(tj+1 ) w(tj ))) = = lim i j E (f (ti )(w((ti+1 ) w(ti )f (tj )(w(tj+1 ) w(tj ))) = = lim i j T f (ti )2 (ti+1 ti ) = f 2 (t)dt.

= lim i Проверьте выкладку. Мы использовали равенство нулю среднего процесса w и независимость приращений w.

T Замечание. Кажется, что при определении интеграла f (t)dw(t) мы можем использовать то обстоятельство, что процесс w(t) можно рассматривать на каждом элементарном исходе отдельно как функцию w(t)(), а интеграл также записать для каждого отдельно как T f (t)w (t)()dt. Увы, это невозможно. Винер показал, что можно считать функции t w(t)() непрерывными для всех, в то же время все эти функции являются недифференцируемыми ни при одном t (с вероятностью 1). Однако, используя такое разложение процесса по элемен T тарным исходам, мы вполне можем вводить интегралы вида f (t)w(t)dt.

2. Интеграл Ито.

T Наконец, самый сложный и нетривиальный случай стохастического интеграла (t)dw(t), где (t) случайный процесс. Возможны разные варианты введения этого стохастического интеграла. Вообще говоря, неясно, какой из этих способов наилучшим образом соответствует практическим задачам. Наиболее употребительным является интеграл Ито.

В определении интеграла Ито T (t)dw(t) (3) процесс (t) должен иметь важное свойство предсказуемости. А именно, значения процесса (t) должны определяться значениями процесса w(s) во все промежутки времени до t вклю чительно, но не должны зависеть от приращений процесса w(s) в будущем, при s t. Таким образом, процесс (t) появляется в результате действия помех w(t) в прошлом, а не в будущем.

t Пример предсказуемого процесса (t) = w(s)ds.

Ито предложил определить интеграл T (t)dw(t) как предел интегральных сумм вида n (ti )(w(ti+1 ) w(ti )), i= где, как обычно, 0 = t0 t1 · · · tn1 tn = T разбиение отрезка [0, T ]. Но что произойдет, если мы рассмотрим другие интегральные суммы, например, n (ti+1 )(w(ti+1 ) w(ti )).

i= Изменение незначительно, и в теории интеграла Римана показывается, что изменение аргу мента подинтегральной функции в интервале разбиения не меняет предел. Оказывается, что в нашем случае случайной подинтегральной функции и случайного дифференциала предел изменится. Рассмотрим, например, интеграл T w(t)dw(t).

Вычтем из интегральной суммы второго вида n w(ti+1 )(w(ti+1 w(ti )) i= интегральную сумму Ито n w(ti )(w(ti+1 w(ti )).

i= Разность равна n (w(ti+1 w(ti )) () i= и сходится, как мы уже доказали в пункте 29.4 (оценка параметров) не к 0, а к T.

3. Задача. Вычислить интеграл Ито T w(t)dw(t).

Задача решается искусственным приемом. По видимому, соображением, позволяющим дога даться до этого приема, служит то обстоятельство, что в неслучайной ситуации интеграл дол жен был бы равняться w2 (T ) w2 (0) /2.

Рассмотрим удвоенное значение этой величины и попробуем связать его с разбиением :

w2 (T ) w2 (0) = w2 (tn ) w2 (t0 ) = = w2 (tn ) w2 (tn1 ) + w2 (tn1 ) w2 (tn2 ) + · · · w2 (t2 ) w2 (t1 ) + w2 (t1 ) w2 (t0 ).

Каждое слагаемое w2 (ti+1 ) w2 (ti ) в этой сумме можно представить в виде 2w(ti )[w(ti+1 ) w(ti )] + (w(ti+1 w(ti )).

Первое слагаемое в этом представлении входит в интегральную сумму Ито. Второе слагаемое входит в сумму (**), предел которой известен. Таким образом, мы получаем представление n1 n w2 (T ) = 2w(ti )[w(ti+1 ) w(ti )] + (w(ti+1 w(ti )).

i=0 i= Устремляя диаметр разбиения к 0 и переходя к пределу, получаем T w (T ) = 2 w(t)dw(t) + T.

T w(t)dw(t) = w2 (T ) T /2.

4. Существование интеграла Ито.

Теперь попытаемся объяснить – что такое интеграл Ито T (t)dw(t) и почему он существует для хороших подынтегральных процессов (t). Напомним, что процесс (t) предполагается зависящим от прошлого и настоящего процесса w. Кроме того, входящие в него случайные величины должны иметь дисперсию. Мы будем также считать процесс (t) непрерывным в среднем квадратическом. Интеграл Ито (как и любой другой интеграл) мы определяем как предел интегральных сумм n (ti )(w(ti+1 ) w(ti )), i= где 0 = t0 t1 · · · tn1 tn = T разбиение отрезка [0, T ]. Эта интегральная сумма на деле является интегралом кусочно-постоянного процесса n (t) = I[ti,ti+1 ) (t)(ti ).

i= Сходимость интегралов мы будем понимать в среднем квадратическом. Поэтому имеет смысл считать среднее и дисперсию интегральных сумм. Так как приращения процесса w не зависят от прошлого процесса w, они не зависят и от прошлого процесса (t). Поэтому n n n (ti )(w(ti+1 ) w(ti )) E(ti )E(w(ti+1 ) w(ti )) = E(ti ) 0 = 0.

= E i=0 i=0 i= Дисперсия считается сложнее.

n n (ti )(w(ti+1 ) w(ti )) (ti )(w(ti+1 ) w(ti )) =E = D i=0 i= n n E [(ti )(w(ti+1 ) w(ti ))(tj )(w(tj+1 ) w(tj ))].

= i=0 j= А двойная сумма разбивается на слагаемые двух видов: i = j и i = j. Если i = j, то ввиду независимости приращений от прошлого E 2 (ti )(w(ti+1 ) w(ti ))2 = E 2 (ti ) E (w(ti+1 ) w(ti ))2 = = E 2 (ti ) (ti+1 ti ).

Пусть i = j, для определенности мы будем считать, что i j. Ввиду независимости прира щений от прошлого имеем E {((ti )(w(ti+1 ) w(ti ))((tj )(w(tj+1 ) w(tj ))} = = E {[((ti )(w(ti+1 ) w(ti ))(tj )] (w(tj+1 ) w(tj ))} = = E [((ti )(w(ti+1 ) w(ti ))(tj )] E [w(tj+1 ) w(tj )] = = E [((ti )(w(ti+1 ) w(ti ))(tj )] 0 = 0.

Окончательно мы получаем, что n n E 2 (ti ) (ti+1 ti ).

(ti )(w(ti+1 ) w(ti )) = D i=0 i= Эта сумма очень похожа на интегральную сумму, но от какого интеграла? Этот интеграл легко записывается, и мы получаем более приятную формулу:

T T (t)dw(t) = E[(t)]2 dt.

D 0 Из этой формулы, которая верна и для интегральных сумм, то есть для интегралов от кусочно постоянных процессов (t), выводится и сходимость интегральных сумм к интегралу в случае, например, непрерывного процесса (t), причем непрерывность мы понимаем в среднем квад ратическом, то есть tn t E [(tn ) (t)] 0.

Действительно, тогда по знаменитой теореме Кантора (функция, непрерывная на компакте, равномерно непрерывна) случайный процесс (t) равномерно непрерывен в среднем квадрати ческом, то есть по любому 0 существует 0 такое, что |t s| E [(t) (s)].

Используя это и выбирая разбиение : 0 = t0 t1 · · · tn1 tn = T диаметра меньше, мы построим интегральную сумму n (ti )(w(ti+1 ) w(ti )).

i= Запишем эту сумму как интеграл от кусочно постоянной функции n (t) = I[ti,ti+1 ) (t)(ti ).

i= Рассмотрим также другое разбиение с такой же оценкой для диаметра. Тогда мы имеем E [ (t) (t)], E [ (t) (t)].

Отсюда по тривиальному неравенству (x y)2 2(x z)2 + 2(y z) мы имеем E [ (t) (t)] 4, T T (t)dw(t) (t)dw(t) = E 0 T T { (t) (t)} dw(t) = E { (t) (t)} dt 4 · T.

E 0 В последнем равенстве мы использовали формулу для дисперсии интеграла от кусочно по стоянного процесса (t) (t) Резюмируем: если диаметр последовательности разбиений сходится к нулю, то соответствующие интегральные суммы сходятся и их предел называется интегралом Ито.

В интернете имеется курс лекций (на английском), который можно рекомендовать. Причем этот курс выкачивать не надо, если вы захотите его посмотреть, я дам файл, но не просто так, а потом проверю, что вы из него почерпнули.

Lawrence G. Evans. An Introduction to Stochastic Dierential Equations. Version1.2. Berkeley University.

5. Стохастические дифференциальные уравнения Теперь мы можем ввести понятие стохастического дифференциального уравнения. Для них неудобно использование обозначений типа dw (траектории винеровского процесса с вероятно dt стью 1 недифференцируемы ни в одной точке), поэтому их предпочитают записывать в диф ференциалах.

Решением X уравнения dX = F (X)dt + G(X)dw(t) по определению называется такой не зависящий от прошлого винеровского процесса (предска зуемый) случайный процесс X, что тождественно t t X(t) = X(0) + F (X(s))ds + G(X(s))dw(s).

0 Таким образом, хотя стохастические дифференциальные уравнения записываются в диф ференциалах, они на деле являются интегральными уравнениями, причем с использовани ем стохастических интегралов. Иногда они имеют явное решение, но как правило, для них разрабатывается техника приближенных вычислений. В теории обычных интегралов и диф ференциальных уравнений используют приемы, которые называются ’замена переменных’ и ’интегрирование по частям’.

6. Формула Ито замены переменных Пусть X предсказуемый процесс, причем dX = F dt + Gdw, (4) где F и G некоторые предсказуемые процессы.

Вопрос. Чему равен стохастический дифференциал процесса Y (t) = u(X(t), t)?

Ответ дается знаменитой формулой Ито:

1 2u u u (X, t)G2 (t)dt.

dY (t) = (X, t)dt + (X, t)dX + 2 x t x Более подробно можно записать следующим образом:

1 2u u u u (X, t)G2 (t)dt.

dY (t) = (X, t)dt + (X, t)F (t)dt + (X, t)G(t)dw + 2 x t x x Доказательство этой формулы довольно длинно и технично, оно будет проведено на уровне идей. Поэтому нет смысла приводить также необходимые для справедливости формулы усло вия, их довольно много и все это можно найти в учебниках по теории стохастических диффе ренциальных уравнений.

Для понимания этой формулы рассмотрим частный случай функции u одной переменной, зависящей только от x и сравним формулу 1 2u u (X, t)G2 (t)dt.

dY (t) = (X, t)dX + 2 x x в этой случае с обычной формулой замены переменной в интеграле. Мы видим, что в обычной формуле u (X)dX отсутствует вторая производная 1 2u (X, t)G2 (t)dt.

2 x Почему в формуле Ито используется вторая и в то же время отсутствуют производные более высокого порядка?

Итак, как получается формула Ито. Мы можем приближенно написать приращение про цесса X(t):

X(t + t) X(t) = F (t)t + G(t)[w(t + t) w(t)].

Теперь посмотрим на приращение функции u(X) и разложим его по формуле Тейлора.

u(X(t + t)) u(X(t)) u (X(t))(X(t + t) X(t))+ + u (X(t))(X(t + t) X(t))2 = = u (X(t))(F (t)t + G(t)[w(t + t) w(t)])+ + u (X(t))(F (t)t + G(t)[w(t + t) w(t)])2 = = u (X(t))(F (t)t + G(t)[w(t + t) w(t)]) + u (X(t)) (F 2 (t)t2 + 2F (t)G(t)t[w(t + t) w(t)] + G2 (t)[w(t + t) w(t)]2 ).

Подумаем, какие слагаемые в (F 2 (t)t2 + 2F (t)G(t)t[w(t + t) w(t)] + G2 (t)[w(t + t) w(t)]2 ) вносят существенный вклад после суммирования по всем приращениям.

Как мы уже неоднократно видели (например, в §14), сумма приращения F 2 (t)t2 = o(t) мажорируется диаметром разбиения (умноженным на максимум F 2 ), поэтому стремится к нулю. В то же время, сумма слагаемых G2 (t)[w(t + t) w(t)]2 имеет бльшее значение. Мы о уже считали E[w(t + t) w(t)]2 = t, в то же время второй момент этого выражения равен E [w(t + t) w(t)]2 = 2t2.

Таким образом, ошибка при замене в сумме случайной величины [w(t + t) w(t)]2 на его среднее t мажорируется диаметром разбиения, который сходится к нулю. Мы уже видели, что суммы всех таких приращений на отрезке [0, T ] сходятся при диаметре разбиения, сходящемся к 0, к T. Итак, слагаемое G2 (t)[w(t + t) w(t)] нужно учитывать, заменив его на G2 (t)t. Рассмотрим другое слагаемое 2F (t)G(t)t[w(t + t) w(t)].

E(t[w(t + t) w(t)]) = 0, E(t[w(t + t) w(t)])2 = t3.

Эти величины также являются маленькими. Мы увидели причину появления дополнительного слагаемого. Напоминаю, что все это нестрого и не может считаться настоящим доказатель ством формулы Ито.

7. Применения формулы Ито.

Пример 1. Теперь покажем, как с помощью формулы Ито мы можем опять сосчитать ин теграл T w(t)dw(t).

Согласно формуле Ито dw2 (t) = 2w(t)dw(t) + 2dt.

Переходя к интегралам T T T dw (t) = 2 w(t)dw(t) + dt, 0 0 T w2 (T ) = 2 w(t)dw(t) + T, что и требовалось.

Замечание. Формула Ито имеет смысл и для функций многих переменных от нескольких случайных процессов. Используя такую формулу, легко получить следующую:

Формула Ито для произведения Пусть dX1 = F1 dt + G1 dw, dX2 = F2 dt + G2 dw, тогда d(X1 X2 ) = X2 dX1 + X1 dX2 + G1 G2 dt.

Однако эту формулу можно вывести и из трехкратного использования одномерной форму лы Ито, используя равенство {d(X1 + X2 )2 d(X1 )2 d(X2 )2 }.

d(X1 X2 ) = 8. Пример решения стохастического дифференциального уравнения dX(t) = g(t)X(t)dw(t), где g – непрерывная (детерминированная, то есть неслучайная) функция, X(0) = 1.

Тогда t t g 2 (s)ds+ gdw X(t) = e 0 0.

Обозначим t t 1 Y (t) = g (s)ds + gdw, 0 тогда dY (t) = g 2 (t)dt + g(t)dw(t).

По формуле Ито при X(t) = u(Y ) = eY 1 2u u (Y )g 2 dt = dX = (Y )dY + 2 x x 1 = eY g 2 (t)dt + g(t)dw(t) + g 2 dt = gXdw.

2 §35. Мартингалы В основе понятия мартингала лежит другое важнейшее понятие условное среднее или условное математическое ожидание. А именно, пусть дана случайная величина на вероят ностном пространстве (, A, P) (т.е. измеримая относительно -алгебры A), имеющая среднее значение E, и пусть дана -подалгебра B A. Тогда существует такая B-измеримая случай ная величина E(|B), связанная с соотношением:

E(|B)dP для всех B B.

dP = (1) B B Существование такой функции основано на использовании теоремы Радона – Никодима. Со гласно этой теореме, для любого заряда на -алгебре A (т. е. счетно аддитивного отображения в R), абсолютно непрерывного относительно вероятности P, т. е. такого, что P(A) = 0 (A) = 0.

В этой ситуации теорема Радона – Никодима утверждает, что существует так называемая производная Радона – Никодима f = d, которая превращает заряд в неопределенный dP интеграл по f :

f ()dP() для всех A A.

(A) = A Как же из этой теоремы мы выводим существование условного среднего значения? Мы вводим заряд на B как неопределенный интеграл:

dP, для всех B B.

(B) = B Из свойств интеграла Лебега следует абсолютная непрерывность относительно P. Условным средним мы и называем производную Радона Никодима заряда. Таким образом, мы сна чала ’превращаем’ случайную величину в заряд, сужаем область определения заряда на B, а потом ’превращаем’ суженный заряд в случайную величину.

Лучше всего можно понять условное среднее в случае конечной -алгебры B, порожден ной конечным числом событий B1,..., Bk, этот случай был по-существу разобран в разделе ’Функция регрессии’. Нетрудно видеть, что в этой -алгебре имеются наименьшие непустые элементы A1 +... + An = и каждый элемент -алгебры представляется в виде конечной сум мы этих элементов. Как выглядит в этой ситуация обычная условная вероятность некоторого события B, которую мы представляем как условное среднее случайной величины IB ? Теперь это не число, а случайная величина, но она записывается через условные вероятности:

E(IB |B)() = P(B|Ai ), если Ai, эта случайная величина задана с точностью до множества меры 0.

Упражнение 4. Пусть случайная величина, имеющая среднее и измерима относитель но -алгебры B. Покажите, что E(|B) =.

1. Свойства условного среднего.

Условное среднее ведет себя, как усреднение интеграла (но на каждом Ai в рассмотренном примере усреднение идет только по Ai ).

Например, легко видеть, что E(a + b|B) = aE(|B) + bE(|B).

Отметим наиболее важные свойства:

i) E(E(|B)) = E(), ii) если случайная величина измерима относительно -алгебры B и ограничена, а ин тегрируема, то E(|B) = E(|B).

индикатора события B B, Это утверждение немедленно доказывается в случае = IB а именно, для IB E(|B) проверяется (1). Произвольный случай сводится к этому: сначала мы доказываем ii) для дискретных, а потом предельным переходом для произвольных.

(Рекомендуется самостоятельно провести эти рассуждения.) iii) если выпуклая функция, т. е. для любого (0, 1) (x + (1 )y) (x) + (1 )(y), то (E(|B)) E(()|B). () Сначала нужно доказать неравенство для обычного среднего (E()) E(()). () Доказательство проводится сначала для дискретной случайной величины с конечным числом значений, при этом все сводится к неравенству, доказываемому по индукции: если p1 +... + pn = 1, pi 0, то (p1 x1 +... + pn xn ) p1 (x1 ) +... + pn (xn ).

Дальше предельным переходом мы доказываем (**) для любой дискретной случайной величи ны, а потом и для любой случайной величины (у которой существует соответствующие сред ние). Неравенство для условного среднего сводится к к неравенству для обычного средне го: сначала мы рассматриваем случай конечной -алгебры B, потом предельным переходом рассматриваем произвольный случай. При этом конечные -алгебры мы строим по случай ной величине E(|B). (Имеются в виду -алгебры, порожденные событиями n, k+1, k n N k N 1,, N, N, ).

n n А теперь перейдем к мартингалам.

2. Мартингалы.

Определение. Пусть для каждого t 0 задана -алгебра Ft A, причем Ft Fs при t s. Такой набор -алгебр называется фильтрацией. Случайный процесс t называется мар тингалом относительно этой фильтрации, если при любом t случайная величина t измерима относительно Ft и при любых t s E(s |Ft ) = t.

Это определение аналогичным образом формулируется и для дискретного времени {0} N.

Рассмотрим простой пример, в котором состоит из всех бесконечных последовательно стей из гербов и решек, F1 состоит из,, множества всех последовательностей вида {г...} (вероятность этого множества равна 1/2), и множества всех последовательностей вида {р...} (вероятность этого множества также равна 1/2). Соответственно F2 порождается множествами {гг...}, {гр...}, {рг...}, {рр...} (с вероятностью 1/4 каждое). Аналогично строятся и все Fn для бльших n. Пусть случайные величины n равны 1 если на n-м месте в элементе находится о герб и 1 если на n-м месте находится решка. Эти случайные величины измеримы относи n /2n. Очевидно, тельно -алгебры Fn и |n | 1. Введем также случайную величину = n что случайная величина интегрируема. Определим последовательность n = E(|Fn ) Легко проверяется, что последовательность (n ) представляет собой мартингал, который опре деляется фильтрацией и одной случайной величиной. Более того, n п.н.

i /2i.

n = i= Ниже мы докажем, что при не очень ограничительных условиях любой мартингал имеет по хожее свойство.

3. Теорема Дуба. Пусть последовательность (n ) является мартингалом относитель но фильтрации (Fn ), причем supn E|n |. Тогда последовательность (n ) сходится п.

н.

Сначала докажем неравенство для мартингалов. Предварительно напомним обозначение для любой случайной величины + = max{, 0}.

Лемма. В условиях теоремы зафиксируем набор 1,..., N и зафиксируем числа a b.

Обозначим через N случайную величину число всех перескоков последовательности (n ) через отрезок [a, b], то есть число всех кусков в нашем наборе вида i (), i+1 (),..., j (), где i j, и i () a, j () b, k () b для всех i k j. Тогда E(N a)+ EN. (2) ba Доказательство. Обозначим i = (i a)+. Заметим, что в терминах новых случайных величин i один перескок означает изменение от i = 0 до значения j b a, где i j и k b a для всех i k j, т.е. момент j момент первого перескока после i. Далее обозначим через Ak событие, состоящее из таких, что i () = 0 для некоторого i k и m () b a для всех i m k. Событие Ak отнюдь не означает завершение перескока в момень k. Но если для данного случайного исхода происходит (один!) перескок от i () = до j () b a, то попадает во все Ak, где i k j. Поэтому для всех, в которых начиная с момента i и кончая моментом j произошел перескок, имеет место неравенство j ba (k+1 k )IAk+1.

k=i Суммируя эти неравенства для всех и всех перескоков, получаем N (b a)N (i+1 i )IAi+1. (3) i= Заметим, что к концу нашей последовательности может появиться i () = 0, но после этого никакого перескока не будет. При этом все равно попадет во все Ak, где k i. Тогда левая часть (3) не увеличится за счет соответствующих слагаемых, но и правая часть не уменьшится, так как N k () k1 () = N i 0.

k=i+ Упражнение. Дан конечный набор вещественных чисел {x1,..., xn }. Выберем в нем все чис ла xi такие, что для данного i существует j(i) i со свойством xi +... + xj(i) 0. Доказать, что сумма всех выбранных чисел неотрицательна.

Теперь заметим, что функция : x max{x a, 0} является выпуклой функцией, i = (i ). По свойству iii) E (i |Fi ) = i = (i ) = (E(i+1 |Fi )) E ( (i+1 ) |Fi ) = E (i+1 |Fi ) для любого i.

Существенно, что входящие в (3) индикаторы IAi+1 зависят лишь от значений мартингала до момента i включительно и поэтому принадлежат Fi. Теперь выведем (2) из (3), используя свойства i), ii), iii) условного среднего:

N (b a)EN E (i+1 i )IAi+1 = i= N 1 N E (i+1 i )IAi+1 = E E (i+1 i )IAi+1 |Fi = i=1 i= (пока мы использовали i)) N E IAi+1 E(i+1 i |Fi ) = i= (здесь мы использовали свойство ii);

как мы уже видели раньше, из iii) следует, что E (i+1 i |Fi ) 0, поэтому заменяя IAi+1 на 1, мы только усилим неравенство) N E[E(i+1 i |Fi )] = i= (а теперь используем i) в другую сторону) N E(i+1 i ) = EN E1 EN.

= i= (последнее неравенство следует из неотрицательности 1 ).

Доказательство теоремы. Предположим противное, предел (n )() не существует для на множестве A строго положительной меры (убедитесь сами, что это множество измеримо).

Это означает lim infn n () lim supn n () для всех A.

Это можно записать и по другому:

lim infn n () a() b() lim supn n () для всех A.

Разумеется, с каждыми a b мы можем связать событие Aa,b = { : lim infn n () a b lim supn n ()}, A = Aa,b.

ab Последнее равенство верно, если мы рассматриваем в нем лишь пары рациональных a и b, а множество таких пар счетно. Далее, объединение счетного числа множеств нулевой меры имеет меру нуль, поэтому из PA 0 следует существование такой пары рациональных чисел a b, что PAa,b 0. Однако по определению Aa,b для любого Aa,b последовательность (n ()) имеет бесконечное число перескоков через (a, b). Поэтому lim EN = PAa,b =.

N Вместе с неравенством (2) это приводит к противоречию с ограниченностью последовательно сти E|n |.

Пример мартингала, для которого не выполняются условия теоремы Дуба. Рассмотрим процесс случайного блуждания n.

4. Некоторые вопросы.

Что такое момент остановки, если задана возрастающая фильтрация -алгебр Ft, t 0.

Это такая неотрицательная величина, что { t} Ft для всех t.

Иными словами, для принятия решения об остановке до момента t включительно, нам доста точно наблюдать случайный процесс до этого момента включительно.

Упражнения. 1. Пусть S1,...,Sn мартингал с конечным временем, случайный момент остановки. Доказать, что ES не зависит от.

2. Пусть t случайный процесс, непрерывный в среднем, некоторый момент остановки.

Доказать, что случайная величина, то есть измерима.

3. Как доказать, что два условных средних E(|Ft ) и E(|Ft ) совпадают почти наверное?

5. Винеровский процесс мартингал.

Упражнение. Пусть случайная величина имеет среднее и не зависит от -алгебры F.

Тогда E(|F) = Eп. н..

(Нетрудно догадаться, что означает независимость от -алгебры: для любого борелевского множества B и любого события A F события { inB} и A должны быть независимы). Как и обычное среднее, условное среднее также удовлетворяет неравенству |E(|F)| Const, если || Const п. н. Поэтому, представляя случайную величину как равномерный предел по следовательности дискретных случайных величин, как обычно, мы сводим общий случай к дискретному случаю, а дискретный случай ввиду аддитивности условного среднего сводится к случаю индикатора события. Итак, событие A не зависит от всех B F. Проверьте, что постоянная функция P(A) удовлетворяет определению E(IA |F).

Из этого упражнения легко следует, что винеровский процесс w(t) является мартингалом относительно фильтрации Ft = наименьшая -алгебра, относительно которой измеримы все w(s), s t.

Проверьте, что если u t, то E(w(t)|Ft ) = w(t), E(w(u) w(t)|Ft ) = E(w(u) w(t)) = 0.

Из этого немедленно следует, что w мартингал.

§36. Задача о разборчивой невесте Одним из примеров использования понятия мартингала является ’Задача о разборчивой невесте’ (другое название ’Задача о выборе секретаря’). Рассматривается следующая ситуа ция невеста выбирает себе мужа из N женихов. Число женихов известно заранее. Невеста может лишь сравнивать женихов между собой, и обладает абсолютной памятью, то есть мо жет сравнивать данного жениха со всеми виденными ею ранее. Для любых двух женихов она может сказать, кто из них для нее лучше и кто хуже, причем эта ранжировка имеет все свойства порядка если A лучше B, B лучше C, то A лучше C. Существенное и жесткое условие отвергнутый жених перестает участовать в конкурсе, передумать по отношению к нему уже нельзя. Думается, что первое название лучше соответствует задаче, подчеркивая ее условный сказочный характер.

1. Постановка задачи.

Цель невесты в данной задаче сделать наибольшей вероятность выбора наилучшего же ниха среди всех N. Заметим, что в данной ситуации возможны и более прагматичные цели например, если все женихи упорядочены по качеству 1-й (наилучший), 2, 3,..., N -й (наихуд ший), то можно минимизировать среднее значение номера выбранного жениха. Однако задачей в такой постановке мы заниматься не будем. (Более того, непонятно обоснование такой поста новки задачи.) Единственный приходящий в голову алгоритм отказ от выбора до n-го жениха, после чего нужно выбрать первого, который будет лучше всех предыдущих. Наша последующая задача оптимизация выбора номера n, а также доказательство (интуитивно понятного) утверждения, что все другие алгоритмы хуже.

2. Математическая модель.

Если мы говорим о вероятности события и о среднем значении случайной величины, то мы должны иметь также пространство элементарных исходов с заданными на них вероятностя ми. В данной задаче такая модель строится совершенно очевидным способом. Произвольный элементарный исход это порядок прохождения женихов перед невестой. Как вы знаете, множество из N элементов можно упорядочить N ! способами, таким образом, || = N !. Итак, некоторая перестановка чисел {1, 2,..., N }, ранжировка женихов невестой = (1,..., N ) уже после знакомства со всеми При этом -алгеброй событий является -алгебра A всех под множеств. Минимальными непустыми элементами этой алгебры являются элементарные исходы точки.

Сама постановка задачи определяет естественную возрастающую фильтрацию -подалгебр A: Впрочем, здесь есть над чем подумать. Удобнее всего определять конечные -подалгебры за данием их минимальных элементов (своего рода элементарных исходов для данной -подалгебры).

Все остальные элементы -подалгебры будут объединениями минимальных элементов. Напра шивается следующая фильтрация: минимальный элемент n-й -подалгебры должен опреде ляться числами (1,..., n ) и в него должны входить все элементарные исходы = (1,..., N ), первые n чисед в которых совпадают с первыми n числами набора. Нетрудно видеть, что число элементарных исходов в такой -подалгебре будет равно N !/(N n)! (так как число способов переупорядочить числа, не попавшие в (1,..., n ), равно (N n)!). Однако такая фильтрация не соответствует условиям задачи, так как числа 1,..., n становятся известны ми лишь в случае знакомства со всеми женихами. При построении фильтрации надо исходить из ситуации.

Итак, каждый минимальный элемент An определяется известным на n-й момент упорядо чением первых n женихов. Это упорядочение мы запишем как (1,..., n ) это некоторая пере становка чисел {1, 2,..., n}. В минимальный элемент An, задаваемый перестановкой (1,..., n ) мы включаем все элементарные исходы (1,..., N ), удовлетворяющих условиям: для всех пар натуральных чисел i, j leqn неравенствo i j выполняется тогда и только тогда, когда i j. Итак, число ми нимальных элементов в An равно n!, каждый такой минимальный элемент содержит N !/n!

элементарных исходов из.

3. Задача об оптимальном моменте остановки.

Сначала мы рассмотрим эту задачу в более общей ситуации.

На вероятностном пространстве (, A, P) заданы возрастающая фильтрация -подалгебр {A1, A2,..., AN = A} и такой набор случайных величин {1,..., N }, что случайная величина i измерима относительно -подалгебры Ai для всех i. Рассмотрим также множество T всех слу чайных моментов остановки со значениями в {1,..., N }. Напомним, что моментом остановки называется случайная величина со следующим свойством:

{ n} An n {1,..., N }.

Для упрощения понимания ситуации мы будем считать конечным (как и в нашей зада че). Тогда каждая Ai будет также конечной, а следовательно, будет порождаться конечным числом минимальных попарно несоместных элементов. Эти элементы целесообразно мыслить элементарными исходами, которые получены к моменту времени i. Таким образом, в каждый момент времени мы имеем множество i элементарных исходов, каждый из которых является некоторым подмножеством (событием) в момент времени i+1. Определение момента остановки означает, что в каждый момент времени i полученный к этому моменту элементарный исход (i) дает достаточную информацию для проверки выполнения или невыполнения равенства = i.

Итак, наша задача найти момент остановки, на котором достигается максимум V = sup {E : T}.

Задача решается поэтапно, с помощью индуктивного процесса, причем индукция проводится не снизу, с n = 1, а сверху, с n = N. Введем множество Tn всех элементов T, принимающих значения в {n,..., N }. Очевидно, что T1 = T.

Vn = sup {E : Tn }.

TN состоит лишь из одного элемента N. Легко определяется максимизирующий N во множестве TN 1. Действительно, если N 1 () E(N |AN 1 )(), N, N 1 () = N 1 если N 1 () E(N |AN 1 )().

Далее мы введем по индукции новые случайные величины n, заданные соотношениями N = N, n = max{n, E(n+1 |An )}. Далее n () = inf{i n : i () = i ()}. (1) При n = 1 эта конструкция дает решение общей задачи, но нам нужно кое-что доказать.

1) Сначала мы должны показать, что n является моментом остановки. Тогда на каждом шаге мы сможем остановиться, исходя лишь из имеющейся на данный момент информации.

Но это очевидно, для n = i необходимо и достаточно, чтобы для всех j i выполнялось i () i (), а для i было бы равенство i () = i ().

2) E (n |An ) = n E ( |An ) для любого Tn.

Интегрирование этого неравенства по устанавливает оптимальность момента остановки n.

Итак, доказываем 2). Напомним, что доказательство неравенства E (|F) E (|F) для почти всех означает доказательство неравенства E (|F) dP E (|F) dP A A для всех A F. Мы знаем также, что если A F, то dP = E (|F) dP.

A A Начинаем доказательство. По индукции мы предполагаем, что 2) выполняется для всех n больше или равных данного n и докажем свойство 2) для n = n 1. Итак, A An1, Tn1.

Мы также обозначим = max{, n}.

dP = dP + dP = A A{ n} A{ =n1} = n1 dP + dP = A{ n} A{ =n1} (не только A An1, но и { n} An1 (кстати, почему?), поэтому во втором интеграле мы можем заменить подинтегральную случайную величину на ее условное математическое ожидание относительно An1 ) E (E ( |An ) |An1 ) dP = n1 dP + A{ n} A{ =n1} (а теперь мы используем предположение индукции для n = n и для = Tn ) E (n |An1 ) dP n1 dP + A{ n} A{ =n1} (далее мы применяем то, что n1 мажорирует как n1, так и E (n |An1 ), к обоим интегралам) n1 dP.

A Теперь, используя индуктивное предположение n = n, а также совпадение по построению n1 и n на событии {n1 n} нужно проверить, что для = n1 наши неравенства является равенствами. Итак, согласно предположению индукции E E n1 |An |An1 dP = E (E (n |An ) |An1 ) dP = A{ n} A{ n} E (n |An1 ) dP.

= A{ n} По построению на {n1 = n 1} n n1 = E(n |An1 ) на {n1 n}.

4. Решение задачи о разборчивой невесте Теперь перейдем к конкретной задаче. Итак, состоит из всех наборов (1,..., N ) раз личных перестановок чисел между 1 и N. i = 1 означает, что i-й жених является лучшим.

Нам надо выбрать такой момент остановки, что вероятность V = P{ = 1} является макси мальной. К сожалению, случайные величины i не являются адаптированными, чтобы знать их значения, мы должны знать всю перестановку женихов. Но ситуацию спасает другое пред ставление V :

V = E( ), где n = P{n = 1|An }. Заметим, что { = n} An. Поэтому мы можем использовать для доказательства следующую цепочку равенств:

N V = P{ = 1} = I{n =1} dP = n=1 =n N N E I{n =1} |An dP = = n dP = E.

n=1 =n n=1 =n Для анализа величин n нам будет удобно определить -алгебры An как наименьшие -алгебры, относительно которых измеримы для всех m n случайные величины m, равные для дан ного = (1,..., m ) числу всех i, i m, не худших m. Действительно, легко видеть, что задание значений всех m, m n, однозначно определяет элементарный исход (1,..., n ) для алгебры An.

Любопытно, что случайные величины n независимы между собой. Действительно, n n, P{n = i} = 1/n для всех i n, P{1 = i1, 2 = i2,..., N = iN } = 1/N !.

Заметим, что случайная величина n является функцией n. Действительно, n/N, если n = 1, n = 0, если n 1.

Все же объясним это равенство. Если n 1, то среди первых n 1 чисел i найдется по крайней мере одно меньше n. Это верно для всех из одного и того же минимального эле мента An. Но тогда I{n =1} равен 0 на этом элементе. Тем более равно 0 условное среднее усреднение I{n =1} по этому элементу. Теперь рассмотрим ситуацию n = 1. В этом случае n является лучшим среди первых n элементов набора. Но вероятность того, что лучший эле мент набора находится среди первых n элементов равна n/N. Из нашей формулы следует, что величины n также независимы. Это облегчает процесс построения случайных величин n из предыдущего пункта. Мы имеем, 1, если N = 1, N = N = 0, если N 1.

Тогда в силу независимости N от AN 1 мы имеем E (N |AN 1 ) = 1/N, N N, если N 1 = N 1 = max{N 1, E(N |AN 1 )} = 1/N, если N 1 1, N 2 N 1 1 E (N 1 |AN 2 ) = + = +.

N 1 N 1 N N N Нетрудно видеть, что i1 1 1 E (i ) == + +... +.

N 1 N 2 N i N i1 1 1 Таким образом, эта величина перестанет расти, когда + +... + зашкалит N 1 N 2 N i N за i/N. Этот момент и является оптимальным моментом, после которого может быть произ веден выбор по сформулированному выше алгоритму.

§37. Стационарные случайные процессы. Прогноз 1. Определение стационарного случайного процесса.

Определение. Случайный процесс t называется стационарным (в узком смысле), если его совместные распределения не меняются со временем, то есть Pt1,...tn = Pt1 +h,...tn +h для любых h, t1,...,tn. Заметим, что такой процесс должен быть задан не на [0, ), а на (, ).

Определение. Случайный процесс t называется стационарным в широком смысле, если его среднее и центральные смешанные моменты (ковариация) не меняются со временем, то есть Et = E0 для любого t, E[(t+h Et+h )(t Et )] = K (h) для всех t и h. (1) В мировой литературе нормальное распределение часто называется гауссовским, а случай ный процесс с совместными гауссовскими распределениями гауссовским случайным процес сом. Винеровский процесс является гауссовским. Мы знаем, что если все совместные распреде ления процесса нормальны (то есть гауссовские), то, для их описания достаточно знать векторы средних и матрицы вторых моментов. Поэтому стационарный в широком смысле гауссовский процесс является стационарным и в узком смысле.

Из стандартного винеровского процесса w(t) легко получить стационарный процесс, кото рый носит имя процесса Орнстейна – Уленбека:

t := et w e2t.

Очевидно, что средние процесса Орнстейна – Уленбека равным средим винеровского процес са, а следовательно, равны нулю. Проверим инвариантность ковариации процесса при сдвиге времени:

E(t t+h ) = et et+h w e2t w e2t2h = et et+h min{e2t, e2t2h } = eh, если h 0.

Прежде чем перейти к другим примерам гауссовских стационарных процессов, рассмотрим случайное колебание центрированная гауссовская случайная величина, R.

t = Z cos t, где Z Очевидно, что такой процесс не удовлетворяет условию (1), более того:

E[(t Et )(t Et )] = cos2 (t)EZ 2 ( зависит от t).

Но если перенести определение стационарности на комплексные случайные процессы, то про цесс t можно представить как вещественную часть стационарного процесса t :

t = Zeit.

При этом соотношение (1) мы представляем как частный случай соотношения E[(t+h Et+h )(t Et )] = K (h) для всех t и h. (1 ) Действительно, K (h) = Et t+h = eit ei(t+h) EZ 2 = eih EZ 2.

Эту конструкцию можно обобщить, рассмотрев сумму случайных колебаний с разными часто тами i :

Zk eik t, t = k где Zk центрированные независимые гауссовские случайные величины. (Независимость для стационарности не нужна, но оказывается, что подобное представление имеет место для любого стационарного гауссовского процесса t :

eit dZ(), t = () R где Z случайная мера на борелевской -алгебре R, значения которой центрированные гауссовские случайные величины, причем для непересекающихся множеств A и B случайные величины Z(A) и Z(B) независимы и (это мера) Z(A + B) = Z(A) + Z(B). Доказательство представления (*) трудоемко и опирается на классическую теорему Бохнера.

2. Теорема Бохнера.

Прежде чем формулировать эту теорему, мы введем важнейшее свойство неотрицательной определенности функции и установим справедливость этого свойства для ковариации K.

Определение. Комлексная функция K на R называется неотрицательно определенной, если K(tj tk )j k j,k для любых конечных наборов одинаковой мощности {tj } R и {j } C. Аналогично опреде ляется понятие неотрицательной определенности функции на множестве целых чисел Z, но в этом случае {tj } Z.

Теорема A. i) Пусть K : R C комплекснозначная непрерывная функция, имеющая свойство неотрицательной определенности. Тогда K представима в виде eit dµ(), K(t) = R где µ конечная мера на борелевской -алгебре R, причем µ(R) = K(0).

ii) Пусть K : Z C неотрицательно определенная функция. Тогда K представима в виде ein dµ(), K(n) = [,) где µ конечная мера на борелевской -алгебре [, ), причем µ([, )) = K(0).

Частным случаем этой теоремы является теорема Бохнера для характеристических функ ций. Впрочем, теорема A сводится к теореме B делением на K(0). Нам будет удобнее доказать теорему B, так как при ее доказательстве мы сможем использовать известные нам факты о слабой сходимости распределений.

Теорема B. Функция : R C является характеристической функцией распределения P (т.е.

eitx dP(x)) (t) = (1) R тогда и только тогда, когда i) (0) = 1, ii) неотрицательно определена, iii) непрерывна в точке 0.

Прежде чем доказывать теорему B, проверим свойство неотрицательной определенности для описываемых в этих теоремах объектов.

Предложение A. Ковариация K стационарного случайного процесса t неотрицательно определена.

Доказательство. Для упрощения записи будем считать, что среднее процесса равно нулю (его вычли). Положим в (1 ) t = tk, t + h = tj. Имеем:

K(tj tk )j k = 0.

E tj tk j k = E tj j j j,k j,k Предложение B. Характеристическая функция случайной величины неотрицатель но определена.

Доказательство.

eitj eitk j k itj (tj tk )j k = 0.

=E e j E j j,k j,k Доказательство теоремы B. ’Только тогда’. Свойства i) и iii) характеристической функции см. в курсе теории вероятностей. Свойство ii) доказано в предложении B.

Доказательство ’тогда’ значительно сложнее и использует слабую компактность про странства всех вероятностных мер на компакте K, которая следует из теоремы Рисса для пространства C(K) пространство вероятностных мер замкнуто в слабой топологии и на ходится внутри единичного шара сопряженного к C(K) пространства зарядов, который по теореме Алаоглу слабо компактен. Для случая, когда K отрезок вещественной прямой, тео рема Алаоглу не нужна, слабую компактность пространства вероятностных мер мы доказали.

Лемма 1. Для всех t и s из R a) (t) = (t), b) |(t)| (0) = 1, c) |(t) (s)|2 1 |(t s)|2 2 [(t)(s)(1 (t s))].

Из неравенства с) и свойства iii) следует равномерная непрерывность характеристиче ской функции (проверить!).

Доказательство сводится к подбору соответствующих вариантов наборов в (2).

Для доказательства a) надо взять {t1, t2 } = {0, t}, а для {1, 2 } использовать два варианта:

{1, 1} и {1, i}. Первый вариант позволяет получить a) для мнимых частей (t) и (t), а второй вариант для вещественных частей этих чисел. (Проверить!) Для доказательства b) надо взять также {t1, t2 } = {0, t}, но далее рассматривать (2) как квадратичную форму для переменных {1, 2 } и использовать неотрицательность определи теля этой формы. (Проверить!) Для доказательства с) мы берем наборы {t1, t2, t3 } = {0, t, s} и опять используем свой ство квадратичной формы (2) от переменных {1, 2, 3 } неотрицательность определителя третьего порядка ((проверить!) 1 (t) (s) (t s) 0.

(t) (s) (t s) Лемма 2 (Герглотц). Функция неотрицательна определена на группе по сложению D = {... 3c, 2c, c, 0, c, 2c, 3c...}, c 0, тогда и только тогда, когда она совпадает на G с характеристической функцией вероят ностной меры на множестве [/c, +/c):

eimcx dF (x).

(mc) = (3) [/c,+/c) Доказательство. Сужение функции на конечное множество [nc, nc] D легко представ ляется в виде (3): мы вводим плотность n |m| (mc)eimx = (?) Gn (x) := 2 n m=n+ n n ((j k)c)ei(jk)x 0.

= 2n j=1 k= imx Умножая это равенство на e при фиксированном m и интегрируя по [, +), мы полу чаем (?) |m| eimx Gn (x)dx = eimcx dFn (x), 1 (mc) = (4) n [,+) [/c,+/c) где Fn функция распределения, причем Fn (/c) = 0, Fn (/c) = 1.(Проверить!) Далее мы используем слабую компактность последовательности мер dFn и извлекаем из сл нее сходящуюся подпоследовательность dFnk dF. Переходя к пределу по k в (4), получаем (1). (Проверить!) Теперь перейдем к доказательству теоремы Бохнера. Мы будем доказывать, что совпа дает с характеристической функцией некоторого распределения на всюду плотном множестве Q всех двоично рациональных чисел в R. Обозначим через Qn множество всех рациональ ных чисел вида k/2n, где k натуральное число. Тогда Qn Q. Очевидно, целое число, n что из неотрицательной определенности на группе по сложению R следует неотрицательная определенность сужения на каждую подгруппу Qn. К каждому такому сужению применима лемма 2 и по ней для каждого n на множестве [2n, 2n ) существует такая вероятностная мера dFn, что n (k/2n ) = ei(k/2 )x dFn (x) для всех целых k. (5) [2n,2n ) Введем характеристические функции n распределений dFn. Из (5) следует, что n пото чечно на множестве Q. Далее нашей целью будет доказательство равностепенной непрерывно сти последовательности характеристических функций (n ) в точке 0. Из нее (точно так же, как это делалось в доказательстве теоремы непрерывности (посмотреть!)), будет следовать слабая компактность последовательности мер (dFn ).

Для характеристических функций вероятностных распределений на R справедливо три виально доказываемое с помощью неравенства Шварца Неравенство для приращений.

|(t) (t + h)|2 2|1 (h)|.

eitx dP(x), где P Доказательство неравенства. Напомним, что (t) = распределение R вероятностей на R. Имеем:

2 |(t) (t + h)|2 = eitx ei(t+h)x eitx 1 eihx dP(x) = dP(x) R R 1 eihx eihx + 1 dP(x) = eitx dP(x) · 1 eihx dP(x) = 1 · R R R [2 cos(hx)] dP(x) = 2(1 (h)).

= R Вернемся к доказательству теоремы Бохнера. Возьмем [0, 1/2n ]. Следующее неравен ство основано на монотонности функции cos на [0, ±] и является решающим:

1 n (/2n ) = (1 cos(x)dFn (2n x) [,) (1 cos xdFn (2n x) = 1 (1/2n ).

[,) Далее каждое h в окрестности нуля для каждого n мы представляем в виде h = (kn + n )/2n (0 n 1, kn целое) и оцениваем расстояние |1 n (h)|2 с помощью неравенства треуголь ника:

|1 n (h)|2 2|1 n (kn /2n )|2 + 2|n (kn /2n ) n (h)| 2|1 n (kn /2n )|2 + 4(1 n (n /2n )2 2|1 n (kn /2n )|2 + 4(1 n (1/2n )|2 = = 2|1 (kn /2n )|2 + 4(1 (1/2n )|2.

Используя непрерывность, правую часть можно сделать сколь угодно малой за счет выбора окрестности для h. Итак, из непрерывности в нуле следует равностепенная непрерывность последовательности (n ) в нуле. Далее мы выбираем слабо сходящуюся подпоследовательность функций распределения Fnk, предел которой F пока не обязан быть функцией распределения.

Доказательство того, что это функция распределения, проводится так же, как и в дока зательстве теоремы непрерывности. Небольшое отличие состоит в том, что неравенство для усечений используется здесь для каждой характеристической функции n, при этом нужная оценка получается ввиду равностепенной непрерывности.

Замечание к теореме непрерывности. Легко проверяется, что в формулировке теоремы непрерывности условие того, что предельная функция является характеристической функ цией, излишне. Достаточно потребовать непрерывность функции в точке 0. А именно, сна чала доказывается слабая компактность семества функций распределений Fn, в качестве F берется предел некоторой сходящейся подпоследовательности Fnk, после чего доказывается, w что = F, Fn F.

Завершим это доказательства формулировкой теоремы, к которой мы стремились:

Теорема A. i) Пусть t стационарный непрерывный гауссовский процесс на R (или Z), K : R C (или K : R C) ковариация процесса. Тогда имеет место представление eit dµ (), K(t) = R где µ конечная мера на борелевской -алгебре R, причем µ(R) = K(0) (или ein dµ (), K(n) = [,) где µ конечная мера на борелевской -алгебре [, ), причем µ ([, )) = K(0).

Мы будем называть µ спектральной мерой процесса, а если dµ () = f ()d, то функцию f будем называть спектральной плотностью процесса.


4. Спектральное разложение для стационарных случайных процессов.

Мы будем в дальнейшем рассматривать лишь гауссовские стационарные процессы, причем непрерывные в среднем квадратическом.

Теорема. Произвольный гауссовский стационарный случайный процесс t (t R) можно представить в виде:

eit dZ(), t = () R где Z случайная мера на борелевской -алгебре R, значения которой центрированные гауссовские случайные величины, причем для непересекающихся множеств A и B случайные величины Z(A) и Z(B) независимы и (это мера) Z(A + B) = Z(A) + Z(B).

Доказательство представления (*) опирается на теорему Бохнера. Здесь мы объясним, как строится случайная мера Z. Отображение, переводящее случайные величины t в функции eit L2 (R, B(R), µ), является изометрическим и продолжается до изометрического отображения на замыкание Lin{t : R} в пространстве L2 ((, A, P). Изометричность следует из определения спектральной меры µ. Легко показывается, что Lin{ eit : t R} всюду плотно в L2 (R, B(R), µ). Мы берем Z(B) := 1 (IB ).

Для обоснования этой конструкции нужно проверить, что функции eit порожда ют L2 (R, B(R), µ). Для этого достаточго проверить, что линейные комбинации функций eit в метрике L2 (R, B(R), µ) индикаторы всех борелевских множеств. Более того, в силу счет ной аддитивности и ограниченности µ нам достаточно показать возможность приближения индикаторов I(,a] на любом отрезке [b, c]. Из теории рядов Фурье или теоремы Стоуна Вейерштрасса следует возможность равномерного приближения любой непрерывной функции.

В свою очередь, как мы это уже делали (где ?) ограниченная последовательность непрерывных функций поточечно сходится к I(,a].

5. Прогноз для процессов с дискретным временем Для упрощения ситуации мы будем рассматривать далее стационарные процессы с дис кретным временем {n bf N }. В этом случае спектральная мера процесса сосредоточена на окружности [, ) и имеется по крайней мере один стационарный процесс, для которого спектральная мера вычисляется. Этот процесс n мы будем называть процессом белого шума, его ковариация K(n) равна I{0} (n). Таким образом случайные величины n независимы, имеют среднее 0 и дисперсию 1. Очевидно, что 1 · en d, K(n) = 2 таким образом спектральная мера µ имеет плотность 2. Далее предлагается использовать модели, использующие стационарные процессы, получающиеся из белого шума некоторыми линейными преобразованиями и для них строить теорию оптимального прогноза (подробное изложение см. в [4]).

Давайте рассмотрим два стационарных процесса, n и n, связанные линейными соотноше нием:

n = a0 n + a1 n1 +... + am nm, оказывается, что по спектральной плотности одного из этих процессов можно восстановить спектральную плотность другого процесса. Дело в том, что если случайные величины n мы отождествляем с функциями ein, то тогда случайные величины n следует отождествлять с функциями a0 ein + a1 ei(n1) +... + am ei(nm). Теперь подсчитаем K :

K (n) = E[0 n ] = (a0 ei0 + a1 ei +... + am eim )(a0 ein + a1 ei(n1) +... + am ei(nm) )f ()d = = ei0 ein (a0 ei0 + a1 ei +... + am eim )(a0 ei0 + a1 ei +... + am eim )f ()d = = ei0 ein f ()d.

= Но тогда мы можем положить f () = f () a0 (ei0 + a1 ei +... + am eim.

Теперь мы можем выписать спектральную плотность для двух видов процессов, которые опре деляются с помощью процесса белого шума: процесс скользящего среднего n определяется соотношением n = a0 n + a1 n1 +... + am nm, процесс авторегрессии n определяется обратным соотношением n = b0 n + b1 n1 +... + bm nk. () Согласно только сформулированному принципу получаем:

1 1 a0 (ei0 + a1 ei +... + am eim, f () = f () =.

2 |b0 (ei0 + b1 ei +... + bk eik | Отметим, что из тех же соображений мы можем выписать спектральную плотность процесса, которая получается из процесса белого шума в два этапа, сначала по процессу n определяется процесс n, потом по нему строится соотношением (*) процесс n, но в (*) роль играет процесс. В этой конструкции спектральная плотность является дробью 1 a0 (ei0 + a1 ei +... + am eim. (1) 2 |b0 (ei0 + b1 ei +... + bk eik | Теперь, наконец, перейдем к задаче прогноза.

Решением задачи прогноза для стационарного процесса n на один шаг является случай ная величина 1 Lin{0, 1,...} (замыкание в норме L2 ), которая минимизирует E(1 1 )2.

Хорошо известно хотя бы из трехмерного опыта, что такой минимум достигается при ортого нальном проектировании 1 на Lin{0, 1,...}, а это в свою очередь эквивалентно ортогональ ности 1 1 пространству Lin{0, 1,...}, а для этого достаточно 1 1 n для любого n {0, 1, 2,...}.

Теперь перенесем эту ситуацию в пространство H = L2 ([, ), f ()d), где f спек тральная плотность процесса. При таком переходе случайные величины n, где n Z, Z множество всех целых чисел, переходят в функции ein, пространство Lin{0, 1,...} переходит в подпространство H = L2 ([, ), f ()d), образ случайной величины 1 мы обо значим g Lin{1 = ei0, ei ei2,...}, причем должно выполняться ei g ein в H n = 0, 1, 2,..., то есть (ei g())ein f ()d = 0 n = 0, 1, 2,.... () Далее мы покажем, как решается задача прогноза лишь для конкретного примера f () = (2 + ei )(2 + ei ). Заметим, что имеет место такая факторизация f = f1 f2 (где f1 = 2 + ei, f2 = 2 + ei ), что функции f1 и f1 являются суммами равномерно сходящегося ряда in по функциям e, n = 0, 1, 2,... (причем для f1 это просто сумма), аналогично функции f2 и f2 являются суммами равномерно сходящегося ряда по функциям ein, n = 0, 1, 2,....

Следующую лемму мы предлагаем доказать самостоятельно:

Лемма. Пусть функция u принадлежит Lin{ei, ei2,...}, то есть an ein, сходимость в пространстве L2 ([, ), d), u() = () n функция v разлагается в равномерно сходящийся ряд bn ein, сходимость в пространстве C([, )), v() = n тогда uv разлагается в ряд cn ein, сходимость в пространстве L2 ([, ), d).

u()v() = n Здесь d обычная мера Лебега без умножения на спектральный множитель.

Замечание. Условие равномерной сходимости v по-видимому существенно. В противном случае просто может не получиться принадлежности L2 ([, ), d). К сожалению, не могу предложить контрпример.

Итак, как использовать определенное выше разложение. Для наглядности введем четыре замкнутых линейных подпространства пространства L2 ([, ), d):

an ein, a2, H+ := u|[, ) : u = n n an ein, a2, H+ := u[, ) : u = n n an ein, a H := u|[, ) : u =, n n an ein, a2.

H := u[, ) : u = n n Очевидно, что H+ H H H+, L2 ([, ), d) = H+ H = H H+, здесь означает ортогональную прямую сумму. Соотношение (*) мы можем представить как (ei g())f1 ()f2 () ein n = 0, 1, 2, ( ) или (что то же) (ei g())f1 ()f2 () H+. Согласно лемме (1) (ei g())f1 () = (ei g())f1 ()f2 ()f2 () H+.

Обратно, из этого соотношения следует (***). Дальнейшее просто: мы берем ряд ei f1 () и берем из него ту часть ряда, которая относится к H, она равна g())f1 (), для вычисления g нужно умножить g())f1 () на f1 ().

Итак, ei f1 () = 2ei + 1, ( ) g())f1 () = 1, g()) = 1/f1 () = 1/2e0i 1/4ei + 1/8e2i 1/16e3i +....

Переходя к случайному процессу, получаем 1 = 0 /2 1 /4 + 2 /8 3 /16 +....

То, что в правой части (****) мы получили 1, объясняется простотой процесса. Впрочем, если бы мы прогнозировали на два шага, мы просто получили бы 0, то есть прогноз на два шага ничего не дает кроме среднего процесса.

Наконец, что делать для более сложных процессов, как получить факторизацию f = f1 f даже для процесса со спектральной плотностью (1 + 2ei )(1 + 2ei ). В этом случае деление на каждый из сомножителей не приводит к равномерно сходящемуся ряду по степеням ein.

Оказывается, все просто, умножив 1 + 2ei на ei, а 1 + 2ei на ei, мы приходим к старой ситуации. Аналогично действуя и используя основную теорему алгебры, мы можем доказать существование факторизации для любой функции вида (1).

3. Теорема. Имеется стационарный случайный процесс n, n Z, с нулевым средним и с дискретным временем. Тогда на единичной окружности существует такая случайная мера Z с ортогогональными приращениями, что ein dZ().

n = (1) [,) Из стационарности процесса следует неотрицательная определенность функции K(n) = E0 n.

Действительно K(m n)m n = E m n m n = m n m n 0.

=E m m m Заметим, что по любой возрастающей функции F на [, ) можно построить случайную меру Z с ортогональными приращениями с гауссовскими распределениями, такую, что F () = EZ 2 (). Это следует из теоремы Колмогорова о совместных распределениях.

Введем пространство H 2 замыкание Lin{n : n Z} в метрике, заданной скалярным произведением (, ) := E( ).

Одновременно рассмотрим функцию F (), существование которой следует из теоремы Бохнера и которая определяется соотношением ein dF (), E(m ) = K(m n) = ei(mn) dF ().

K(n) = n [,) [,) Рассмотрим отображение : n ein, которое является изометричным отображением H в пространство L2 ([, ), dF ). Легко видеть (??1), что это отображение изометрично, а со гласно теореме Стоуна Вейерштрасса образ этого отображения всюду плотен. Обратное отображение переводит функции I[0,) в некоторые случайные величины Z(). Ортогональ ность приращений Z(µ) Z(), Z(), 0 µ следует из ортогональности функций I[0,) и I[,µ) в пространстве L2 ([, ), dF ).

Функция F может являться интегралом от некоторой функции f, которая называется спек тральной плотностью. Как находить спектральную плотность для некоторых случайных про цессов, задаваемых некоторыми условиями, не используя обратное преобразование Фурье? На до начинать от простейшего стационарного процесса n, состоящего из независимых N (0, 1) нормальных случайных величин. В этой ситуации 1, если n = 0, K (n) = 0, если n = 0.

Легко видеть, что спектральная плотность n имеет вид f () = 1/2, так как из теории рядов Фурье известно, что функции ein ортогональны для разных n относительно меры d. Так как все точки спектра с равной интенсивностью входят в спектр, процесс n называется процес сом белого шума. Для этого процесса задача прогноза не имеет смысла, так как будущее не зависит от прошлого и настоящего, следовательно, и прогноз не будет зависеть от прошлого и настоящего.


Теперь посмотрим, что происходит со спектральной плотностью f процесса при линейном преобразовании произвольного процесса n. А именно, от процесса n мы переходим к процес су n = a0 n + a1 n1 +... + ak nk. Однако при построенном ранее отображении случайные величины n переходят в функции a0 ein + a1 ei(n1) +... + ak ei(nk), в частности, 0 пере ходит в функцию a0 ei0 + a1 ei(1) +... + ak ei(k), тогда корреляционная функция процесса n также интерпретируется как скалярное произведение этих функций и будет иметь вид ein f ()d = K (n) = [,) (a0 ein + a1 ei(n1) +... + ak ei(nk) )(a0 ei0 + a1 ei(1) +... + ak ei(k) )f ()d = = [,) ein a0 ei0 + a1 ei) +... + ak eik = f ()d.

[,) Отсюда немедленно следует соотношение между f и f :

f () = a0 ei0 + a1 ei) +... + ak eik f ().

Теперь мы можем записать спектральную плотность трех типов процессов, которые ли нейным образом записываются через заданный процесс белого шума n, все три процесса мы будем обозначать одной и той же буквой.

Процесс скользящего среднего это n = a0 n + a1 n1 +... + ak nk. Согласно сказанному (n = n, n = n ), в этом случае a0 ei0 + a1 ei) +... + ak eik f () =.

Процесс авторегрессии это процесс n, связанный с процессом n следующим соотноше нием: n = a0 n + a1 n1 +... + ak nk. В этом случае n = n, n = n. Поэтому 1 f () =. (2) 2 a0 ei0 + a1 ei) +... + ak eik Замечание. Не для любого набора (an ) существует процесс n. Например, если a0 = 1, a1 = 1, an = 0 для n 1, то складывая соотношения для n получаем n +... + 1 = n 0, D(n 0 ) = n. Это следует также из неинтегрируемости функции f () в (2)(??2) Процесс смешанного типа это n такой, что n = a0 n + a1 n1 +... + ak nk, где n = b0 n + b1 n1 +... + bs ns. Аналонично предыдущим двум случаям, в этой ситуации 1 a0 ei0 + a1 ei) +... + ak eik f () =. (3) 2 b0 ei0 + b1 ei) +... + bs eis Задача прогноза. Теперь мы рассмотрим задачу прогноза для стационарного случайного процесса. Идея прогноза (для простоты рассмотрим прогноз на один шаг) состоит в ортого нальном проектировании случайной величины 1 на замыкание линейной оболочки случайных величин 0, 1,.... Действительно, как хорошо известно из геометрии, при ортогональном про ектировании мы получаем элемент, находящийся от проектируемого на минимальном расстоя нии. В результате проектирования мы получим вообше говоря бесконечную линейную комби нацию c0 0 + c1 1 +.... На практике это используется следующим образом: из полученных нами в результате наблюдения или эксперимента чисел 0 (), 1 (),... мы составляем линейную комбинацию c0 0 () + c1 1 () +.... Полученное число будет нашим прогнозом.

Мы будем рассматривать задачу прогноза для простоты при условии 0 C1 f () C2. (??3 Почему это условие выполняется для функций из (3))?). (??4 Где это усло вие дальше используется?). Чтобы облегчить ситуацию, задача переносится на пространство L2 ([, ), f ()d), в этом пространстве мы проектируем функцию ei на замыкание ли нейной оболочки функций ei0, ei(1), ei(2),..., в результате получаем функцию прогноза g() = c0 · 1 + c1 ei(1) + c2 ei(2) и нужные нам коэффициенты ci, i = 0, 1, 2,.... Иногда можно получить точные формулы для коэффициентов. Идея состоит в переходе из простран ства L2 ([, ), f ()d) в пространство L2 ([, ), f ()d), в котором все просто, все функции eik ортогональны при разных k.

Введем несколько линейных подпространств пространства L2 ([, ), d):

h0 является замыканием линейной оболочки функций ein, где n 0, h0 является за мыканием линейной оболочки функций ein, где n 0. Хотя сами функции ein непрерывны, функции из пространств h0 и h0 могут не быть непрерывными. Более того, каждый эле мент L2 ([, ), d) однозначно раскладывается в виде суммы элемента из h0 и элемента из h0. Эти подпространства ортогональны в смысле скалярного произведения пространства L2 ([, ), d) (но не в смысле пространства L2 ([, ), f ()d));

C0 (соответственно, C0 ) пространства непрерывных функций, являющихся равномер ными пределами конечных линейных комбинаций функций ein, где n 0 (соответственно, n 0). Разумеется, эти пространства незамкнуты в L2 ([, ), d). Более того, эти простран ства являются не только линейными пространствами, но и алгебрами. Действительно, произве дения функций ein, где n 0, также являются функциями ein, n 0, поэтому произведения конечных линейных комбинаций таких функций также являются конечными линейными ком бинациями такого же вида. Переход к равномерному пределу приводит нас к функциям из C0.

Пространства C0 и C0 полны относительно используемой для них нормы f = maxt |f (t)| (??5).

Нам понадобятся и другие аналогичные утверждения: i) произведение функции из h и функции из C0 принадлежит h0, ii) произведение функции из h0 и функции из C принадлежит h0. Оба утверждения проверяются одинаково, проверим i). Заметим (??6), что если fn f в h0, gn g в C0, то fn gn f g в h0. Это доказывается элементарными оценками (??7).

Теперь мы займемся самой задачей прогоноза на один шаг: прогноз на один шаг для процес са n по данным n, n 0, обозначим через. Но мы процесс перевели в L2 ([, ), f ()d), в частности, n, n 0, превратились в функции ein, n 0, а функция, в котороую превраща ется прогноз, мы обозначим g, разность значения процесса в момент 1 и прогноза для этого значения превращается в ei g(). Итак, ei g() ein n 0.

в пространстве L2 ([, ), f ()d). В интегралах это записывается следующим образом:

ei g() ei(n) f ()d) = 0n 0.

[,) Теперь все это переведем в пространство L2 ([, ), d) (??8):

ei g() f () h0, (4) g() h0. (5) Далее мы будем решать задачу при выполнении условия факторизации:

1 f = f1 f2, f1 C0, f1 C0, f2 = f1 C0, f2 = C0.

В результате (4) и благодаря утверждению i) (??9) свойство (4) заменяется на h() := ei g() f1 h0. (6) Итак, ei f1 = g()f1 () + h(), где g h0, h h0.

Более того, используя утверждение i) (??10) мы получаем gf1 h0, h h0.

Таким образом, алгоритм нахождения наилучшего прогноза оказывается следующим (?11):

надо взять функцию ei f1 и разложить ее в ряд Фурье по степеням ein, n Z. Часть ряда, принадлежащая h0, образует функцию gf1, разделив эту функцию на f1, получаем g.

Последнее, что надо сделать показать, что спектральная плотность вида (3) удовлетворя ет условию факторизации. Заметим, что из принятых выше соглашений следует, что числитель и знаменатель (3) не имеют корней на [, ). Итак (??12), дробь (3) представляется в виде (z1 ei )(z1 ei ) · · · (zn ei )(zn ei ) f () = C, i )(u ei ) · · · (u ei )(u ei ) (u1 e 1 m m где C положительная константа, zk, uj корни соответствующих (??13) многочленов, не равные 1. Легко видеть, что все числа zk, uj можно считать по абсолютной величине строго больше 1 (??14 Где это потом используется?). Действительно, если |zk | 1, мы можем заменить соответствующие два множителя (изменяя при этом C), используя следующее равенство:

1 (zk ei )(zk ei ) = (zk ei 1)(zk ei 1)ei ei = (ei )(ei )|z k |2.

zk zk (??15. Как же так? Ведь согласно основной теореме алгебры, разложение на элементарные множители единственно.) Итак, мы считаем условие на абсолюные величины выполненными и можем теперь выписать f1 и f2 :

(z1 ei ) · · · (zn ei ) z1 ei ) · · · (zn ei ) f1 () = C, f2 () = C.

(u1 ei ) · · · (u ei ) (u1 ei ) · · · (um ei ) m Числитель f1 очевидным образом принадлежит C0, каждый множитель (um ei ) по формуле геометрической прогрессии разлагается в ряд по степеням eik, k 0, который сходится равномерно. Далее мы используем то, что C0 алгебра.

Пример. n = n 2n1. Имеем: f () = 2 (1 2ei )(1 2ei ), другое представление f () = 1 1 ei 1 1 ei, f1 () = 1 2 ei, ei f1 () = ei 1, g()f1 () = 2 2 2 2 2 2 1 11 (f1 ())1 = ei e2i · · ·.

g() = 2 24 Оценка в момент времени 1 имеет вид:

1 1 1 = 0 1 2 · · ·.

2 4 Добавление (не надо дальше учить).

Простейшая форма некоторая определенная функция f (x) + t, где t стационарный случайный процесс.

Процесс с комплексными значениями и ковариация такого стационарного процесса. Моти вация процесс cos(at) заведомо нестационарный. Но если добавить i sin(at), получится заведомо стационарный процесс eiat. Если время дискретно, то a [0, 2). Задача оптималь ного выбора f (x). Процесс белого шума в дискретном случае. Почему белый?

3. Безгранично делимые распределения Определение 1. Безгранично делимое распределение вероятностей P на числовой прямой это такое распределение, что для любого натуральногого n существуют одинаково распреде ленные независимые случайные величины 1,..., n, что P = P1 +...+n.

Представление Леви для характеристической функции произвольного безгранично де лимого распределения:

1 + x itx eitx log G, (t) = it + dG(x) (6) 1 + x2 x где G неубывающая ограниченная функция, действительная постоянная, а подынте гральная функция в точке x = 0 считается равной t2 /2.

Теорема. Функция G, является характеристической функцией безгранично делимого распределения.

Доказательство. Так как n G, = G/n,/n, для доказательства безграничной делимости достаточно доказать, что G, при любых G и является характеристической функцией распределения. Доказательство положительной опре деленности этой функции представляется доволно трудным, поэтому проще показать, что эта функция является пределом последовательности характеристических функций. Мы заменим интеграл (6) на верхнюю и нижнюю часть и каждую из них представим как предел интегралов по отрезку, а каждый из них как предел интегральных сумм.

Итак, n 1/ 1 + x itx eitx 1 dG(x) = lim Tnk, 1 + x2 x2 n k= где itk 1 + k eitk 1 2 (G(xk+1 ) G(xk ), Tnk = 1 + k k = x0... xn = 1/, xk k xk+1, max |xk+1 xk | 0(n ).

k Каждое Tnk записывается в виде Tnk = itank + nk eitbnk 1.

Соответственно, eTnk является характеристической функции сдвинутого на ank распределения Пуассона с параметром nk и шагом bnk (а не 1, как у классического распределения Пуассона).

Определение 2. Последовательность {Xnk : k kn } серий независимых случайных вели чин называется удовлетворяющей условию бесконечной малости, если max P{|Xnk | } 0 при n для любого фиксированного 0. (7) kkn Теорема 2. Пусть последовательность {Xnk : k kn } удовлетворяет условию бесконеч ной малости, некоторое положительное число. Обозначим через Fnk функции распреде ления случайных величин Xnk, ank = xdFnk (x);

Fnk (x) = Fnk (x + ank );

|x| kn x n = a+ dFnk (x) ;

nk 1 + x2 k=1 x kn y2 Gnk (x) = dFnk (y).

1 + y k= Тогда kn L Xnk k= тогда и только тогда, когда L Gn G, n.

Доказательство. Обозначим характеристическую функцию Xnk через nk, характеристи kn kn ческую функцию Xnk через n, а распределение Xnk через Pn. Очевидная оценка k=1 k= |G, n | |G, Gn,n | + |Gn,n n | показывает, что доказательство сводится к доказательству двух сходимостей:

a) Gn,n (t) G, (t) для всех t R, b) |Gn,n (t) n (t)| 0 для всех t R.

Первое утверждение является самостоятельным фактом теоремой о сходимости характе ристических функций. Впрочем, для полноты доказательства нам нужно доказать еще слабую компактность семейства распределений {Pn }.

НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ДРУГИХ МАТЕМАТИЧЕСКИХ КУРСОВ Анализ Производная сложной функции Критерии Коши сходимости последовательности и ряда Критерий -милиционеров Критерий сходимости ряда в терминах абсолютно сходящегося ряда Равномерная непрерывностоть и теорема Кантора Компактность отрезка на числовой прямой Интегральные суммы Римана Стильтьеса Преобразование Фурье Линейная алгебра Дополнение ортонормированной системы до ортонормированного базиса Ортогональная матрица Неотрицательно определенная квадратичная форма Сумма квадратов как произведение вектора-строки на вектор-столбец Вращение и сумма квадратов координат Теория меры Продолжение меры с полуалгебры на алгебры, с алгебры на -алгебру Эквивалентность счетной аддитивности и непрерывности для конечно аддитивной функции множеств на алгебре Определение интеграла Лебега по вероятностной мере Теорема Лебега для сходимости по вероятности Теорема Радона Никодима Функциональный анализ Теорема Банаха о неподвижной точке Теорема Брауэра о неподвижной точке Комплексный анализ Интеграл по замкнутому контуру Дифференциальные уравнения Метод вариации постоянной.

Уравнения с частными производными.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА по курсам ’Теория вероятностей’, ’Математическая статистика’, ’Случайные процессы’ для специальности ’Математика’ Учебники 1. А.А. Боровков. Теория вероятностей. Наука, 1976.

2. А.А. Боровков. Математическая статистика. Оценка параметров. Проверка гипотез. На ука, 1984.

3. А.В. Булинский, А.Н. Ширяев. Теория случайных процессов. Физматлит, 2003.

4. А.Д. Вентцель. Курс теории случайных процессов. Наука, 1975.

5. И.Н. Володин. Лекции по теории вероятностей и математической статистике. Изд-во КГУ. 2006. 271 с.

6. И.Н. Володин, О.Е. Тихонов, Е.А. Турилова. Математические основы вероятности. Изд во КГУ, 2006. 163 с.

7. Б.В. Гнеденко. Курс теории вероятностей. М. Наука, 1969.

8. И.И. Гихман, А.В. Скороход. Введение в теорию случайных процессов. Наука. 1967. с.

9. Г.И. Ивченко, Ю.И. Медведев. Математическая статистика. Изд-во Высшая школа. 1984, 248 с.

10. Г.П. Климов. Теория вероятностей и математическая статистика. Изд-во МГУ. 1983. с.

11. М.В. Козлов, А.В. Прохоров. Введение в математическую статистику. Изд. МГУ, 1987.

12. Г.Крамер. Математические методы статистики. Мир, 1976.

13. М.Б. Лагутин. Наглядная математическая статистика. М.: БИНОМ. Лаборатория зна ний. 2007. 472 с.

14. Методические разработки по специальному курсу ’Многомерный статистический ана лиз’ (составитель С.В. Симушкин). Изд-во КГУ. 2006. 96 с.

15. Д.Х. Муштари. Вероятность, математическая статистика, случайные процессы. Элек тронное учебное пособие. Site KGU: http//www.ksu.ru. 188 с.

16. Ю.А. Розанов. Теория вероятностей, случайные процессы и математическая статистика.

Главная редакция физико-математической литературы, 1985.

17. Б.А. Севастьянов. Курс теории вероятностей и математической статистики. М. Наука, 1982.

18. В.Н. Тутубалин. Теория вероятностей. Изд-во МГУ, 1972.

19. А.Н..Ширяев. Вероятность. Наука, 1980.

20. R. Bhattacharya, E.C. Waymire. A Basic Course in Probability theory. Springer. Universitext.

2007. ix+211.

21. L.C. Evans. An Introduction to Stochasstic Dierential Equations. Version I,2. University Berkeley. 139 p.

22. Jun Shao. Mathematical Statistics. Springer. 2003. xvi+591.

23. D. Kannan. An Introduction to Stochastic Processes. North Holland, 1979. xiii + 296 p.

24. O. Knill. Probability. 1994. 227 p. (электронный курс лекций для студентов Калифор ниййского технологического института).

25. L.B. Koralov, Ya.G. Sinai. Theory of Probability and Random Processes. Springer. Universitext.

2007. xi + 353 p.

Задачники 26. А.М. Зубков. Сборник задач по теории вероятностей. Изд. МГУ.

27. Л.Д. Мешалкин. Сборник задач по теории вероятностей. Изд. МГУ. 1963.

28. Практические занятия по теории вероятностей (И.И. Адгамов, Д.Х. Муштари). Мето дическое пособие. Изд. КГУ, 1989. 38 c.

29. А.В. Прохоров, В.Г. Ушаков, Н.Г. Ушаков. Задачи по теории вероятностей. Наука. 1986.

30. Б.А. Севастьянов, В.П. Чистяков, А.М. Зубков. Сборник задач по теории вероятностей.

Наука. 1983.

31. А.В. Сульдин, Е.А. Беговатов, С.В. Григорьев. Сборник задач по теории вероятностей и математической статистике. Изд. Казанского университета. Казань. 1980. 94 с.

32. Д.М. Чибисов, В.И. Пагурова. Задачи по математической статистике. Изд. Московского университета. 1990. 171 с.

33. Jun Shao. Mathematical Statistics: Exercises and Solutions. Springer. 2005.xxviii+359.

Справочники 34. Л.Н. Большев, Н.В. Смирнов. Таблицы математической статистики. М. Наука, 1983.

35. Энциклопедия ’Вероятность и математическая статистика’ (Гл. ред. – Ю.В. Прохоров).

М. Большая Российская Энциклопедия, 1999.

Монографии 36. Г.П. Климов. Инвариантные выводы в статистике. Изд-во МГУ. 1973. 186 с.

37. Д. Лоули. А. Максвелл. Факторный анализ как статистический метод. Библиотека сбор ника ’Математика’. Изд. ’Мир’. М. 1967. 144 с.

38. А.Н. Ширяев. Основы стохастической финансовой математики. Том 1. Факты. Модели, Том 2. Теория. Изд. ’Фазис’. 1998.

ЭКЗАМЕНЫ И ЗАЧЕТЫ Экзамен по теории вероятностей ПРОГРАММА Частотная интерпретация вероятности. Вероятностное пространство. Теория вероятностей и теория меры (сравнение обозначений и терминологий).

СОБЫТИЯ. Классическая модель. Различные варианты выборок. Задача о k гербах в n экспериментах. Модели Больцмана Максвелла (полиномиальная) и Бозе Эйнштейна. Гео метрическая модель.

Формула сложения. Условная вероятность и независимость. Формула умножения. Задача о распаде атома. Формулы полной вероятности и Байеса. Пример на контроль качества. Задача о разорении игрока.

Независимость. Условная независимость. Эквивалентные определения независимости в со вокупности. Операции с независимыми событиями. Примеры: электрическая цепь и пример Бернштейна.

Модель Бернулли. Предельная теорема Пуассона.

Независимые полуалгебры и алгебры. Связь счетной аддитивности и непрерывности. Неза висимость -алгебр и теорема о монотонных классов.

СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. Случайные величины и их распределения на борелевской алгебре. Два определения случайной величины (прообразы борелевских множеств и прообразы интервалов), их эквивалентность. Борелевская функция случайной величины - случайная ве личина. Свойства функции распределения (в частности, непрерывность вероятностной меры).

Примеры распределений (Бернулли, биномиальное, Пуассона, нормальное, равномерное, экс поненциальное). Вывод плотности нормального распределения с произвольными параметрами.

Связь функции распределения и функции плотности. Распределения квадрата и экспоненты.

Случайные векторы и наборы случайных величин. Распределения случайных векторов (сов местные распределения случайных величин). Связь совместной функции распределения и сов местной функции плотности. Задача о плотности распределения проекции случайного вектора.

Задание распределения по совместной функции распределения.

Независимые случайные величины. Эквивалентность двух определений независимости слу чайных величин. (в частности, операции с независимыми событиями, сохраняющие независи мость). Функции нескольких независимых случайных величин и теорема о монотонных клас сах. Независимость на языке совместной плотности для непрерывного случая.

Распределения, связанные с набором независимых нормальных случайных величин: Коши, хи-квадрат (с выводом), Стьюдента.

Многомерное нормальное распределение (вводится только невырожденное). Стандартное нормальное распределение.

Лемма о вращении стандартного нормального случайного вектора.

Среднее и его свойства. Доказательства (Формула замены переменной. Среднее произ ведение независимых случайных величин). Вычисление среднего в случае дискретного или непрерывного распределений. Дисперсия и ее свойства. Вычисление среднего и дисперсии для некоторых распределений (биномиальное, нормальное, равномерное, Пуассона, 2, Стьюден та). Пример отсутствия среднего. Моменты и другие характеристики.



Pages:     | 1 |   ...   | 5 | 6 || 8 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.