авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 | 2 || 4 |

«А.М. Чеботарев Введение в теорию вероятностей и математическую статистику для физиков ...»

-- [ Страница 3 ] --

Отсюда следует важный вывод: метод наименьших квадратов дает решение, которое удовлетворяет уравнению с усредненной правой частью: E( * ) = 0.

Нетрудно видеть, что операторы = ( )1, = ( ) являются ортогональными проекторами в подпространство R и его дополнение R R = R :

2 =, =, =, = = 0, а в предыдущем разделе было показано, что * =.

Обычно в состав базиса функций { ()} входит констан def та, т.е. один из столбцов матрицы равен = {1,..., 1} R и, следовательно, =. Это предположение сохранит силу до конца настоящей главы. Из него, в частности, следует = = *. (7.8) = =, 7.2. Проекторы и псевдорешения Для вычисления доверительных интервалов параметров * используются следующие величины, уже знакомые по преды дущим главам:

= |( )|2, 1 = | * |2 = |( )|2, (7.9) 2 = | * |2 = |( )|2.

Геометрическая интерпретация этой формулы состоит в том, что, 1 и 2 являются квадратами длин гипотенузы и кате тов прямоугольного треугольника на рис. 7.1.

y Q Q Range A = RK e y A y Q Рис. 7.1. Вектор и его проекции Катеты, отвечающие 1 и 2, лежат в R и R соответ ственно, причем длина катета 2 равна нулю, если случайные ошибки отсутствуют. Таким образом, чем больше величина 2 = (7.10) (0, 1] называемая коэффициентом детерминации Пирсона, тем мень ше разности | * | и | * |. Поэтому отклонение 1 назы Глава 7. Линейный метод наименьших квадратов вается объясненным, так как оно равно квадрату длины раз ности между проекциями на и Range, а случайное откло нение 2 называется необъясненным или остаточной суммой квадратов2, так как оно равно квадрату длины проекции на неконтролируемые компоненты вектора ошибок, принадлежа щие R.

7.3. Распределение коэффициентов МНК Следующая теорема позволяет описать доверительные интер валы, содержащие компоненты неизвестного вектора.

Теорема 7.2. Пусть компоненты вектора являются неза висимыми случайными величинами из (0, 1). Тогда 1) вектор * и квадратичная форма 2 = (, ( )) являются независимыми случайными величинами;

2) компоненты * вектора * являются (вообще го воря, зависимыми) нормально распределенными случай ными величинами с нулевым средним и дисперсией (см. (7.5)), а случайная величина 2 имеет распределе ние 2 с степенями свободы;

3) плотность распределения случайной величины * def (7.11), = =, совпадает с плотностью () распределения Стью дента с степенями свободы;

4) если значение определяется из условия (7.12) () =, В англоязычной литературе употребляется соответствующий термин coefficient of determination.

7.3. Распределение Стьюдента для коэффициентов МНК то доверительный интервал, содержащий значение с вероятностью 1, равен [*, * + ] = 1 ;

(7.13) ( ) 5) если погрешности имеют дисперсии, – матри ца соответствующей переопределенной системы уравне def ний (7.6) и = (, (1 )), то случайная величина * def = = ( ) =, ( ),, имеет распределение Стьюдента (7.12) с степе нями свободы:

[*, * + ] = 1. (7.14) ( ) Доказательство. 1. Пусть R – какое-либо решение систе мы уравнений =, R. Вычислим характеристиче скую функцию пары случайных величин * R и 2 R:

* *,2 (, ) = E (, )+2 = || 1 2 +(,( ) )+(,( )) = = (2) || 1 2 +(,( ) )+|( )| = = (2) || 1 2 +(, )+|( )| = = (2) | |2 = (1 2) = 2 (,( )1 ) = (1 2) = * () 2 ().

2 Отсюда следует независимость * и 2, а также нормаль ность распределения компонент вектора * и распределение Глава 7. Линейный метод наименьших квадратов 2 для 2. Дисперсия = и среднее значение ком понент вектора * были вычислены в предыдущем разделе (см. (7.5) и (7.4)). В силу конструкции распределения Стью дента, отсюда следует формула (7.11) и (7.13), что доказывает утверждения 2–4.

Утверждение 5 и формула (7.14) доказываются аналогично.

Вместо (7.6) используется выражение = E| * |2 = ( ).

Упражнение 7.2. Показать, что если дисперсия ошибок во всех точках равна 2, то выражения для, * и 2 не зависят от, а =. Таким образом, [*, * + ] = 1 (7.15) ( ) с определенным выше.

Напомним, что распределение Стьюдента с степенями сво боды имеет плотность ) + 2 2 + ( ) ( 2 ( ) = () = 1 +, и при сходится к нормальному распределению (0, 1).

Пример 7.1. В качестве примера рассмотрим решение зада чи об аппроксимации полинома четвертого порядка ( = 5) по его значениям в = 20 случайных точках { }, равномер = но распределенных на отрезке [0, 2]. Для матрицы = { } построен проектор и найдены диагональные элементы :

|diag = {4.35, 94.1, 188.0, 53.3, 1.679}.

Для тестирования формулы (7.15) использовался полином () = 0.285 + 0.560 1.976 2 1.696 3 + 1.142 7.3. Распределение Стьюдента для коэффициентов МНК при наличии независимых нормально распределенных ошибок измерения его значений, имеющих дисперсию = 0.2. Значе ния коэффициентов *, полученные методом наименьших квад ратов, равны * = {0.113, 1.126, 2.538, 1.533, 1.136}.

0. 8 0. 0. 0. 0. 0. 0.0 0.5 1.0 1.5 2.0 2.5 3. 0.0 0.5 1.0 1.5 2.0 2. Рис. 7.2. Значения тестовой функции () плюс случайные возму щения (слева) и разность между неизвестной функцией и аппрок симирующим полиномом, полученным методом наименьших квадра тов (справа) Порядок полинома и дисперсия погрешности предполагают ся известными, что позволяет вычислить значения доверитель ных интервалов для коэффициентов {* }, содержащие “неиз вестные” коэффициенты { } с вероятностью = 0.75, которой соответствует значение = 0.69 (см. (7.12)):

{(0.20, 0.426), (0.331, 2.583), (4.60, 0.478), (2.630, 1.436)}.

Эти интервалы достаточно хорошо накрывают точки = {0.285, 0.560, 1.976, 1.696, 1.142}, а коэффициент детерминации Пирсона равен 2 = 0.998.

Упражнение 7.3. Пусть {(, )} – набор независимых = значений пары случайных величин (, ). Гипотеза состоит в Глава 7. Линейный метод наименьших квадратов наличии простой линейной корреляции = 0 + 1. Показать, что метод наименьших квадратов дает следующие значения па раметров 0 и 1 :

(, ) * = *, * = (7.16), 0 1 ( ) def 1 где (, ) – скалярное произведение в R, а = =1.

Упражнение 7.4. Показать, что диагональные элементы мат рицы = ( )1 для задачи из предыдущего упражнения принимают значения 1 2 (7.17) 1,1 =, 2,2 =.

2 2 2 7.4. Оценка порядка регрессии Удобным средством решения задач о коэффициентах линейной регрессии и ее порядке является метод ортогональных полино мов, разработанный Дж. Форсайтом (см. [1], §20).

Функция может быть выражена через линейную комби нацию независимых полиномов () порядка {0, 1,..., }.

Идея Форсайта состоит в использовании системы полиномов, образующих ортонормированную систему в точках { }:

1.

( ) ( ) = (, ) =, = Такая система может быть построена рекуррентным образом3 :

( ) 1 1 ( ) =, 2 ( ) = 2, (7.18) ( +1 ( ) =+1 ( ) (, ) ( ) ) (1, ) 1 ( ), Аналогичный алгоритм построения ортонормированных систем, при водящих любые операторы к трехдиагональному виду, известен под на алгоритм Ланцоша.

званием 7.4. Оценка порядка регрессии: критерий Фишера где нормировочные коэффициенты определяются из усло вий 2 ( ) = 1.

= Лемма 7.1. Сеточные полиномы образуют ортонормиро ванную систему.

Доказательство. Нетрудно видеть, что полиномы 1 и 2 ор тонормированы. Предположим, что условие ортонормирован ности выполнено для полиномов 1,...,, и покажем, что +1 и,..., 1 ортогональны.

Действительно, поскольку (, ) = 1 и (, ) = 0 при, по предположению индукции, то (+1, ) =(, ) (, ) + (1, )(1, ) = 0, (+1, 1 ) =(, 1 ) (, )(, 1 ) + (1, )(1, 1 ) = 0, так как (1, ) = (, 1 ) = 0 и (, 1 ) = (1, ).

Пусть теперь + 1. Тогда из (7.18) имеем ( ) +1 = +1 (, ) (1, ) 1, и поэтому (+1, ) = (, ) (, )(, ) + (1, )(1, ) = (, ) = ( ( )) + =, (, ) + (1, ) 1 + = 0, + так как здесь (, ) = 0 при = 1,, + 1.

Глава 7. Линейный метод наименьших квадратов Теорема 7.3. Пусть = {, } – -матрица с элемен тами, = ( ). Тогда =, где – единичная -матрица, при этом =, * =, * =, (7.19) а компоненты вектора * независимы:

E( * ) = 0, E( * ) ( * ) = 2. (7.20) Если компоненты вектора имеют дисперсию 2, то оста точная сумма квадратов 2 и ее ожидание E 2 равны 2 = ||2 |* |2, E 2 = 2 ( ). (7.21) Доказательство. Вычислим матричные элементы матрицы :

( ) = ( ) ( ) =, то есть =.

Поэтому = ( )1 = и из теоремы 7.1 следует, что * =, * =, а также несмещенность и независи мость: E( * ) = 0, E( * ) ( * ) = 2.

Вычислим случайную величину 2 и ее математическое ожи дание, учитывая, что E = 0, ||2 = ||2 и ( ) = 0:

2 = |( )|2 = ||2 | |2 = = ||2 | |2 = ||2 |* |2, E 2 = E |( )|2 = (7.22) = E ( + ), ( )( + ) = ( ) = E ( + ), ( ) = ( ) =, E( ) + E, ( ) = ( ) ( ) = 2 rank ( ) = 2 ( ).

7.4. Оценка порядка регрессии: критерий Фишера Упражнение 7.5. Совпадают ли полиномы одного и того же порядка, построенные по формулам (7.3) и (7.19)?

Для выбора порядка линейной регрессии * = необходи мо варьировать значение. Поэтому мы введем переменную в обозначение остаточной суммы квадратов 2 = 2 ().

Важным обстоятельством является то, что в силу ортогональ ности полиномов, коэффициент при полиноме степени + не зависит от коэффициентов при полиномах младших степе ней :

()* + +1 ()* +1 () = +1 = = (7.23) = () + +1 ()*, * +1 = +1 ( ).

+ = Следствие 7.1. Если дисперсия компонент вектора не за 2 () дана, то ее несмещенной оценкой является =, где |* |2 |* |2. (7.24) 2 () = || = =1 =+ 2 () Если (0, ), то случайная величина = ( ) имеет распределение 2. Случайные величины * незави * (* ) симы, и если среднее значение +1 равно нулю, то +1 имеет распределение 2. В частности, в этом случае случай ная величина (* )2 ( ) + (7.25) = 2 () имеет распределение Фишера 1,.

Глава 7. Линейный метод наименьших квадратов Доказательство. Выражение для несмещенной оценки сле- дует из (7.21).

Формула (7.25) получается следующим образом. Если поря док полинома равен числу точек, то система (7.1) число уравнений в системе (7.1) равно числу неизвестных. Посколь ку ситема имеет точное решение, то 2 ()|= = 0, а из (7.21) вытекает равенство 0 = 2 ()|= = ||2 |* |2. Поэто = му 2 () =||2 |* |2 + |* |2 = |* |2, (7.26) =1 =+1 =+ E 2 () =E|( )|2 = Tr ( ) = ( ).

2 Если компоненты вектора имеют нормальное распределение, то последнее равенство означает, что 2 ()/ 2 имеет распре деление 2.

Заметим, что ковариационная матрица случайных величин (* E* )/ равна единичной матрице. Действительно, учиты вая, что * = = ( + ) = +, получим E(* E* )(* E* ) = E( ) ( ) = 2 ( ) = 2.

Для нормально распределенных случайных величин c нуле вым средним отсюда следует независимость * и закон распре деления 2 для (* )2 / 2.

1 Учитывая (7.26) и независимость компонент случайных псев дорешений *, находим распределение отношения (* )2 / 2 и + 2 ()/( ) 2 при условии, что E* +1 = 0:

(* )2 ( ) + 1,.

= 2 () Последний результат используется для проверки гипотезы о порядке регрессии: если значение выбрано верно, то все 7.5. Примеры аппроксимации экспериментальных данных последующие коэффициенты *+ принимают небольшие зна чения и удовлетворяют статистическому критерию (* )2 ( ) + 1,.

= 2 () Практически это означает, что квадрат (* )2 должен попа + дать в доверительный интервал [0, ), где = 2, () 1, () = 1, 0.1, :

а 1, () – плотность распределения Фишера.

7.5. Примеры аппроксимации экспериментальных данных Пример 7.2. Рассмотрим данные о распределении спектраль ной интенсивности потока солнечного излучения на верхней границе атмосферы в зависимости от длины волны изобра женные на рис. 7.3.

2000 100 200 300 400 500 600 100 200 300 400 500 600 Рис. 7.3. Точки изображают экспериментальную зависимость () и log () от длины волны и ее аналитическую аппроксимацию Это распределение имеет острый максимум = 2074 Вт/см2 ·мкм вблизи точки = 48 нм. Для аппроксимации этой зависимости использовался базис {1, ()(1 48 ()), ()48 (), 4/5 ()48 ()}, Глава 7. Линейный метод наименьших квадратов где () = ln 2074 · ln 48, () = {0 при, 1 при }.

Таблица экспериментальных данных содержит около 70 то чек (см. [9], с. 1195), и мы приводим вместо нее графики () и log (), на которые наложена аппроксимирующая функция, построенная методом наименьших квадратов. Аналитическое выражение найденной кривой имеет вид ln () = 7.816 + 3.237 4/5 ()48 ()+ + 4.653 ()(1 48 ()) 5.437 ()48 ().

Значение коэффициента детерминации равно 2 = 0.983, что указывает на удовлетворительное качество такого решения.

Данный пример интересен выбором базиса, состоящего из различных функций справа и слева от точки = 48 нм. Заме тим также, что наблюдаемое распределение существенно отли чается от распределения Бозе для излучения черного тела при выборе масштаба, обеспечивающего положение максимума в точке = 48 нм. Этот факт является следствием смещения спектра излучения черного тела за счет спектров излучения химических элементов, присутствующих в солнечной короне.

Пример 7.3. Рассмотрим экспериментальные данные о зави симости давления насыщенного пара метана от абсолютной температуры (см. [9], с. 275):

Т а б л и ц a 7. 0.1 0.2 0.5 1 2 5 10 20 50 66.2 69 73.1 76.5 80.3 85.9 90.7 96 104.1 111. Второй график подсказывает, что целесообразно сначала построить линейную аппроксимацию в двойных логарифмиче ских координатах = log, = log. Результат использова ния модуля Regress выглядит следующим образом:

() = 4.337 + 0.0678 + 0.002432 + 0.0000793 0.00001244.

7.5. Примеры аппроксимации экспериментальных данных 110 110.

100.

90.

80.

70.

0.1 1. 10. 100.

0 20 40 60 80 Рис. 7.4. Зависимость давления насыщенного пара от температуры в обычных (слева) и двойных логарифмических координатах (справа) Т а б л и ц a 7. Estimate of 4.3376 0.00012 35427.7 0.0679 0.00013 524.33 4.8· 0.00229 0.00004 56.88 3.19· 0.000025 3.34466 0. 3 0. 9.58·10 5.181·10 1.85 0. 6 Последняя колонка содержит вероятности того, что истин ные значения соответствующих коэффициентов равны нулю.

Коэффициент 4 = 9.58 · 106 можно считать равным нулю, хотя вероятность ошибиться, делая такой выбор, равна 0.87.

Учитывая, что значение коэффициента детерминации весь ма велико (2 = 0.999), в качестве удовлетворительной ап проксимации экспериментальных данных можно принять за висимость 3 ( ) = 76.522 · 0.0678+0.00243 log +0.000079 log (7.27).

Абсолютные значения погрешности | ( ) 3 ( )| в точках измерений не превосходят следующих значений:

Глава 7. Линейный метод наименьших квадратов 0 20 40 60 80 Рис. 7.5. Теоретическая кривая (7.27), совмещенная с эксперимен тальными данными. Таблица 7.2 содержит коэффициенты полинома четвертой степени, построенного в двойных логарифмических коор динатах с помощью процедуры Regress {0.001, 0.006, 0.015, 0.016, 0.006, 0.004, 0.014, 0.015, 0.007, 0.002}.

Пример 7.4. Рассмотрим тестовую задачу об определении ко эффициентов полинома третьей степени, значения которого за даны на отрезке [2, 2] на равномерной сетке с шагом = 0. при наличии нормально распределенных ошибок измерения с дисперсией = 0.1. Задача решалась двумя способами: с ис пользованием метода ортогонализации Форсайта и с помощью стандартной процедуры Regress в системе Mathematica. Для аппроксимации полиномами одного порядка оба метода дали одинаковые значения коэффициентов.

Mathematica выполняет процедуру Regress[Transpose[{, }],basis,x,ConfidenceLevel-p] с заданными массивами = { } и = { } зна =1 = чений функции и аргумента, базисом, содержащим функции { ()}, используемые для аппроксимации эксперименталь = ных данных, заданной доверительной вероятности, и созда ет отчет о решении. Заметим, что в системе Mathematica су ществует более простая процедура построения аппроксимации методом наименьших квадратов, не предполагающая создания отчета: fit[Transpose[{, }], basis, x].

7.5. Примеры аппроксимации экспериментальных данных Errors of measurements Othonormal basis Error of approximation 0.4 0. 0. 8 0. 0.0 0. 0. 0.4 0. 2.0 1.5 1.0 0.5 0.0 0. 2.0 1.5 1.0 0.5 0.0 0.5 2.0 1.5 1.0 0.5 0.0 0. Рис. 7.6. На левом графике изображены 6 ортонормированных по линомов, образующих базис на равномерной сетке. Вертикальные отрезки на втором графике соответствуют погрешностям измерений тестовой зависимости () = 1++0.52 1.53 с дисперсией = 0.1.

На правом графике – погрешность аппроксимации Т а б л и ц a 7. Estimate of 1.0026 0.0578 17.346 1.036 0.157 6.574 0. 0.711 0.268 2.649 0. 0.236 0. 1.405 5. 0.341 0. 0.107 0. 0.111 0. 0.0562 0. Исходный и реконструированный полиномы имеют следую щий вид: () = 1 + + 0.52 1.53, lsq () = 1.0026 + 1.036 + 0.712 1.4053 0.1074 0.0565.

В колонке Estimate таблица 7.3 содержит оценки * ( ) коэф фициентов при, найденные методом наименьших квад ратов;

в колонке – стандартные погрешности оценок этих коэффициентов, соответствующие уровню доверительной ве роятности = 0.1;

в колонке – значения статистики Стьюдента (см. (7.11)) условной вероятности события |* | |* ( )| при условии = 0.

Глава 7. Линейный метод наименьших квадратов Т а б л и ц a 7. Observed Predicted * 12.8235 12.8435 0.224383 (12.4321, 13.2548) 9.37768 9.42912 0.152202 (9.15012, 9.70812) 7.01906 6.77115 0.148457 (6.49901, 7.04329) 4.6498 4.70898 0.125137 (4.47959, 4.93837) 2.87352 3.12975 0.123151 (2.904, 3.3555) 1.77372 1.95742 0.127465 (1.72376, 2.19108) 1.60048 1.14194 0.120695 (0.920696, 1.36319) 0.599575 0.648408 0.114332 (0.438825, 0.857992) 0.535154 0.446199 0.120695 (0.224951, 0.667447) 0.263458 0.498138 0.127465 (0.26448, 0.731796) 0.767096 0.74964 0.123151 (0.523891, 0.975389) 1.04149 1.11787 0.125137 (0.888475, 1.34726) 1.67299 1.48087 0.148457 (1.20873, 1.75301) 1.59543 1.66675 0.152202 (1.38775, 1.94575) 1.43959 1.4428 0.224383 (1.03149, 1.85412) Для вывода таблицы доверительных интервалов для графи ка функции в системе Mathematica использовалась процедура Regress[Transpose[{, }],basis,x, ConfidenceLevel-p, RegressionReport - MeanPredictionCITable] Результат ее выполнения представлен в таблице 7.4.

Эта таблица представляет коридор, в котором лежат зна чения аппроксимирующих полиномов порядка 3 при заданном значении доверительной вероятности = 0.1. Она достаточ но хорошо демонстрирует, что при заданном доверительные 7.5. Примеры аппроксимации экспериментальных данных интервалы значений аппроксимирующего полинома содер жат все экспериментальные значения.

В таблице 7.3 стоит обратить внимание на то, что веро ятность нулевых значений коэффициентов 4 и 5 весьма ве лика. Значения этих вероятностей содержатся в нижней ча сти последнего столбца этой таблицы. Кроме того, программа оценивает дисперсию ошибок EstimatedVariance – 0. (см. формулу в формулировке следствия 7.1), что весьма близ ко к точному значению 2 = 0.01. Отчет о решении содержит коэффициент детерминации 2 (см. (7.10)) и оценку дисперсии 2 = 2 (см. (7.21)):

RSquared-0.9994, EstimatedVariance-0.012.

Глава 8. Критерий Колмогорова Глава 8. Критерий Колмогорова Ранговые и кумулятивные распределения. Теорема Гливенко–Кантелли.

Критерий Колмогорова для оценки параметров выборочных кумулятив ных распределений. Теорема Смирнова. Формулы Крамера–фон Мизеса и Андерсона–Дарлинга. Оценки показателей полиномиально убываю щих хвостов. Фильтрация выбросов. Мощность статистических крите риев.

8.1. Теорема Гливенко–Кантелли Статистические критерии, описанные в этом разделе, применя ются для анализа одномерных распределений. Как и в случае теории Пирсона, теория Колмогорова позволяет отказаться от предположения о нормальности ошибок за счет использования класса статистик, имеющих предельное распределение при до статочно больших объемах выборки. Принципиально новым здесь будет использование нормы max | () ()| для ве роятностной оценки близости выборочного и предельного рас пределений.

В одномерном случае множество выборочных значений { } случайной величины может быть упорядочено. Не уменьшая общности, предположим, что 1 · · · +1 · · ·.

Если последовательность { } упорядочена, то называется рангом выборочного значения, а сама последовательность { } называется вариационным рядом. Неубывающая огра ниченная функция def (8.1) : R [0, 1], () = (,] ( ) = называется выборочной оценкой кумулятивного распределения или просто ранговым распределением. Рассматриваемая ниже теорема Гливенко–Кантелли позволяет обосновать алгоритм кон струкции функции распределения по доступным эмпирическим данным без каких-либо ограничений на плотность вероятно сти (). В дальнейшем мы рассмотрим теорему Колмогорова, уточняющую результат Гливенко–Кантелли и характеризую щую скорость сходимости выборочных распределений () 8.1. Теорема Гливенко–Кантелли Normal 0,1 x 32 Pareto 1,2 x 1.0 1. 0.8 0. 0.6 0. 0.4 0. 0.2 0. 0.0 0. 3 2 1 0 1 2 0 2 4 6 Рис. 8.1. Выборочные ранговые распределения Гаусса и Парето;

число точек равно к () = (). Этот факт формулируется в терминах распределения Колмогорова, которое играет роль, аналогичную роли нормального распределения в рассмотренных выше тео ремах о сходимости случайных величин. В этом контексте тео рема Гливенко–Кантелли аналогична закону больших чисел.

Теорема 8.1. (Гливенко–Кантелли) Пусть def () = (,] ( ) = – выборочная функция распределения действительной случай def ной величины R, () = ( ). Тогда (8.2) lim sup | () ()| = с вероятностью единица на любом компактном множестве R, состоящем из точек непрерывности распределения 1.

Доказательство. Здесь мы докажем более простое утвержде ние, переставив местами sup и lim. В этом случае предположе ние о непрерывности не используется. Покажем, что вероят ность случайного события | () ()| стремится к нулю равномерно по при для любого 0.

() В общем случае кумулятивное распределение определяется как непрерывная справа.

монотонно неубывающая Глава 8. Критерий Колмогорова Действительно, E () = E (,] ( ) = (), и, со гласно неравенству Чебышева, (| () ()| ) 2 E| () ()|2 = (8.3) ( ) 1 = 2 (,] ( )(,] ( ) 2 (), E,= причем def () = E (,] ( )(,] ( ) =,= E (,] ( ) E (,] ( ) + E (,] ( ) = = =1 =1 = = ( 1) 2 () + (), где E (,] ( ) = () для любого, так как все случай ные величины, одинаково распределены и независимы при =. Далее, поскольку 2 () ( 1) + () ()(1 ()) () = 2 () + =, 2 то отсюда следует равномерная сходимость по вероятности:

()(1 ()) (sup | () ()| ) sup 2 4 (8.4) при, так как () 1 и ()(1 ()) 1/4.

Для доказательства равномерной сходимости с вероятно стью единица рассмотрим последовательность {12, 22,... } и воспользуемся теоремой 2.1 Бореля–Кантелли, в силу кото рой достаточным условием сходимости с вероятностью единица является сходимость ряда (sup | () ()| ) для любого. Из (8.4) следует сходимость этого ряда для подпо следовательности = 2. Поскольку любая другая подпосле довательность сходится к тому же пределу, все они сходятся с вероятностью единица.

8.2. Распределение Колмогорова 8.2. Распределение Колмогорова Удобным инструментом анализа ранговых распределений яв ляется критерий А.Н. Колмогорова, не использующий, в от личие от критерия Пирсона, разбиение области значений слу чайных величин =, оптимальный выбор которого свя зан с известными трудностями. Критерий Колмогорова также не использует каких-либо предположений о параметрах эмпи рического распределения. Такие критерии называются непа раметрическими, типичные критерии этого типа (Колмогоро ва, Смирнова, Крамера–фон Мизеса, Андерсона–Дарлинга) об суждаются в этой главе.

В то же время рассматриваемые ниже критерии менее уни версальны, чем критерий Пирсона: они применяются для про верки гипотез о распределениях действительных случайных величинах, имеющих непрерывное кумулятивное распределе ние вероятности. Непрерывность в данном случае означает су ществование плотности распределения вероятностей. Интерес но отметить, что критерий Колмогорова использует централь ную предельную теорему таким образом, что существование среднего значения или конечной дисперсии исследуемых слу чайных величин не требуется.

Критерий Колмогорова использует введенное выше эмпири ческое ранговое распределение (), сопоставляемое выборке { } из независимых наблюдений д. с. в.. Обозначим = def () = ( ) = (), где () – кумулятивная функция распределения, () – плот ность распределения случайной величины, и рассмотрим два семейства случайных величин def def () = (,] ( ) (), () = (0,] ( ), где = () и = ( ). При доказательстве следующе го утверждения предполагается, что монотонно возрастающая Глава 8. Критерий Колмогорова непрерывная функция кумулятивного распределения имеет од нозначно определенную обратную функцию 1 : [0, 1] R.

Лемма 8.1. Семейство случайных величин () обладает следующими свойствами:

1) для любого (0, 1) выполнено { ( ) } = ;

2) E () = 0, E () = ()(1 ()), E () = 0, E 2 () = (1 );

3) для любого = () (0, 1) случайная величина def () = () = ( () ()) имеет среднее E () = 0, дисперсию E () = (1) и корреляционную функцию E () () = min(, ), совпадающую с корреляционной функцией так называе мого броуновского моста = 1, где – винеров ский процесс2, для которого E = 0, Cov = E = min(, );

4) предельная случайная функция = lim () име ет распределение, совпадающее с распределением броунов ского моста.

Доказательство. 1) Покажем, что { ( ) } – равномерное распределение на [0, 1]. Действительно, 1 () { ( ) } = { ()} = () = = ( 1 ()) =.

Винеровский процесс – это случайный процесс с непрерывными тра екториями, являющийся пределом случайных блужданий. Он однозначно = + характеризуется распределением вероятности смещения за 2 для любых, R+.

время : () = Более подробно мы рассмотрим его конструкцию в гл. 11.

8.2. Распределение Колмогорова 2) Нетрудно видеть, что E () = E ((,] ( ) ()) = ( ) (,] () () () = () () = 0, = R E () = E ((,] ( ) 2 ()) = () 2 () = ( ) (,] () () () = = R = ()(1 ()).

Аналогичным образом вычисляются среднее и дисперсия ().

3) Заметим, что если = (), = ( ), то в силу опреде ления обратной функции получаем следующие соотношения:

1 (( 1 (0), 1 ()] ( 1 ( ) ) = ((0,] ( ) ) = 1 ((,] ( ) ()) = ( () ()).

= Равенство E () = 0 вытекает из первого утверждения лем мы. Вычислим корреляционную функцию, учитывая равен ство E((0,] ( ) ) = 0 и независимость случайных величин {, } при различных :

E(0,] ( )(0,] ( ) = min(, ), + (1, ), E () () = E((0,] ( ) )((0,] ( ) ) =,= 1 E((0,] ( ) )((0,] ( ) ) = min(, ).

= = При = получаем выражение для дисперсии. Нетрудно по лучить такое же выражение для броуновского моста.

Глава 8. Критерий Колмогорова 4) Случайные величины () [1, 1] имеют нулевое сред нее и моменты любого порядка. Применяя при каждом цен тральную предельную теорему, мы устанавливаем существова ние при каждом [0, 1] нормально распределенных случай ных величин = lim () с дисперсией = (1 ).

Поскольку и броуновский мост и предел = lim () являются гауссовскими случайными величинами, то из совпа дения их средних и корреляционных функций следует равен ство =.

Упражнение 8.1. Показать, что из условия E = min(, ) следует независимость приращений винеровского процесса E(+ )( ).

А.Н. Колмогоров описал распределение отклонений выбо рочного кумулятивного распределения от предельного в тер минах вероятности выхода процесса из коридора [, ] за время [0, 1].

Теорема 8.2. При достаточно больших ( 20) разли чие между распределениями и статистически значимо на -уровне, если supR | () ()| () для неявно заданной функции () : () = 1, где { lim P } sup | () ()| = R (8.5) 2 (1) = () =.

= Например, различие между распределениями и ста тистически значимо на 5%-уровне, если sup | () ()| (0.05) = 1.3581.

R 8.2. Распределение Колмогорова 0. 1. 1. 0. 1. 0. 1. 0.51961 0.8276 1.3581 1.0 1.5 2.0 2.5 3.0 3. Рис. 8.2. Окрестности трех характерных точек распределе ния Колмогорова. Трем -уровням статистической значимости (0.05, 0.5, 0.95) соответствуют отклонения от графика кумулятив ного распределения, не превышающие = 1.3581, 0.8276, 0.5196 со ответственно. На втором графике изображена функция, определя ющая асимптотику распределения Колмогорова: = 22 log 1() 1 Такая разница может быть случайной только в 5% случаев.

Точки, соответствующие доверительным интервалам 5%, 50% и 95%, изображены на рис. 8.2.

Функция () принадлежит классу так называемых эллип тических тета-функций3. При малых = 1 () довери тельный интервал может быть вычислен по заданному значе нию вероятности:

= 1 () : = 1 (1 ) ln. (8.6) 2 Отношение () = 22 log 1() левой и правой частей прибли 1 женного равенства изображено на рис. 8.2. В остальных точках можно использовать одну из двух эквивалентных формул:

(1)1 2 = { sup | () ()| } = 1 R = 2 (21)2 2 / =.

= 3 2 def () = 4 (0, 2 ).

4 (, ) = 1 + =1 (1) cos 2, Глава 8. Критерий Колмогорова Первый ряд быстро сходится при больших, а второй ряд – при малых значениях.

Pconf 0.5 Pconf 0. Pconf 0. 1. 1. 1. 1. 0.8 0.8 0. 0. 0.6 0. 0. 0.4 0. 0. 0.2 0. 0. 0. 0.0 0. 0.2 0.4 0.6 0.8 1.0 5 10 2 1 0 1 Рис. 8.3. Выборочные распределения 1), (0, 1) и 2 постро (0, енные по = 40 точкам, и коридоры / 40 распределения Колмо горова, соответствующие уровням значимости = 0.5, 0.95, 0. В качестве примера рассмотрим выборочные кумулятивные распределения (0, 1), (0, 1) и 2 c коридорами, соответству ющими согласно (8.5) уровням значимости = 0.5, 0.95, 0.05:

{ () / () () + / }.

Вычисленные теоретические значения доверительного откло нения4 случайной величины /, = 40 и фактические зна чения супремума sup | ( ) ( )| равны соответственно 0.5 = 0.12, sup = 0.11 для нормально распределенных слу чайных величин;

0.95 = 0.082, sup = 0.11 для равномерного распределения;

0.05 = 0.214, sup2 = 0.108 для распределе ния 2. Указанные коридоры изображены на рис. 8.3.

В.И. Смирнову принадлежит обобщение теоремы Колмого рова, позволяющее сравнивать ранговые распределения5.

Теорема 8.3. Пусть () и () – две эмпирические функ def def ции распределения, = + и = supR | () ()|.

Тогда существует предел lim P = (), { } где () – функция (8.5) из теоремы Колмогорова.

confidence interval=CI.

В.И. Смирнов, бывший ранее аспирантом В.А. Стеклова, доказал эту теорему в 1939 г.

8.2. Распределение Колмогорова Различие между эмпирическими распределениями и статистически значимо на -уровне, если sup | () ()| () R для () : () = 1.

Эта теорема позволяет рассматривать вопрос об однородно сти эмпирических распределений, избегая каких-либо предпо ложений о виде распределения. В качестве примера рассмот рим две случайные выборки (полученные для распределения Парето с параметрами [1, 2]), состоящие из 16 и 24 точек:

16 = {1.049, 1.068, 1.11, 1.139, 1.167, 1.206, 1.226, 1.30, 1.338, 1.51, 1.55, 1.573, 1.737, 1.99, 2.11, 2.737}, 24 = {1.039, 1.055, 1.063, 1.065, 1.076, 1.13, 1.205, 1.32, 1.322, 1.43, 1.44, 1.50, 1.56, 1.66, 1.92, 2.02, 2.13, 2.37, 2.43, 2.57, 2.938, 3.28, 4.289, 4.75}.

Kolmogorov & Smirnov test Abs CDF P16 CDF P 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.00 0. 0 1 2 3 4 5 6 7 0.5 1.0 1.5 2. Рис. 8.4. Абсолютное значение разности эмпирических распре делений Парето с числом точек 16 и 24 (слева), а также точка (, ) = (0.991, 0.72) на правом графике, определяющая колмого ровскую оценку вероятности бльших и мньших значений разности о е Для пары = 16, = 24 выборочное значение (,) 0. – это максимальное значение модуля разности, изображенное Глава 8. Критерий Колмогорова слева на рис. 8.4. Поэтому 16 · 0.991.

(, ) (,) = 0. В этом случае критерий Смирнова дает оценку вероятности меньших значений (0.991) 0.72, что позволяет принять ги потезу о совпадении распределений для этой пары случайных величин.

8.3. 2 -критерии Крамера–фон Мизеса и Андерсона–Дарлинга Идея использования вероятностных свойств броуновского мо ста в статистике получила развитие в работах многих авторов.

Рассмотрим критерии Крамера–фон Мизеса и Андерсона–Дар линга, снижающие роль погрешности в отдельных точках и позволяющие сделать дисперсию ошибок равномерной (ср. с дисперсией () в лемме 8.1, п.1).

Оба критерия оценивают статистическую значимость гипо тезы о том, что случайные точки { } имеют распределе ние (), с помощью интегральных функционалов, снижаю щих вклады отдельных точек. В первом случае используется функционал выборочного распределения типа 2 -нормы:

) ( 2 1 ( () ()) () = ( ) +, 12 = где () – выборочное распределение (8.1). При су ществует не зависящее от предельное распределение случай ной величины, называемое распределением омега-квадрат.

Рассмотрим теорему Крамера–Мизеса о предельном распреде лении (см. [10]).

Теорема 8.4. Предел lim яв ( () ()) () 8.3. Критерии Крамера–фон Мизеса и Андерсона–Дарлинга ляется функционалом броуновского моста :

def ( () ())2 () = = (8.7) )2 ( 2 1 2.

( ) = + 12 2 Предельное распределение lim { } = () имеет вид ( + 1/2) 4 + 1 (4+1) def () = !

2 = (4 + 1)2 (4 + 1) { ( ) ( )} 1/4 1/4, 16 (/2)+ где () = (+1)(++1) – модифицированная функция Бесселя.

В случае, если проверяется гипотеза о совпадении распре делений и, представленных выборками { } и { } 1 соответственно, используется критерий (8.7) с параметрами + def def ( ( ) ( ))2, =, = + + = где { }+ = { } { }.

1 Различие между распределениями и статистически значимо на -уровне, если () для (): () = 1.

С целью выравнивания вклада отдельных точек в функци онал, характеризующий уклонения выборочного распреде ления, Андерсон и Дарлинг ввели нормировку интегрального функционала (8.7) на дисперсию броуновского моста ( () ())2 def () =.

()(1 ()) 0 (1 ) Соответствующий статистический критерий формулируется сле дующим образом.

Глава 8. Критерий Колмогорова Теорема 8.5. Различие между эмпирическими распределени ями и статистически значимо на -уровне, если () для () : () = 1, где ( 2 1 ) 2 2 + ln(1 ( )).

= ln ( ) + 2 = Здесь () – квантиль предельного распределения:

( ) def () = lim ( ) = P = (), 0 (1 ) 2 ( + 1/2)(4 + 1) (1) () = !

= (4+1)2 2 (4+1)2 2 82 +1.

Anderson Darling CDF Cramer von Mises CDF 1. 1. 0. 0. 0. 0. 0.4 0. 0.2 0. 0.0 0. 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 Рис. 8.5. Кумулятивные распределения Крамера–фон Мизеса и Андерсона–Дарлинга с выделенными точками {0.037, 0.12, 0.46} слева графике и {0.28, 0.78, 2.49} справа, которые соответствуют -уровням {0.05, 0.5, 0.95}. Представления этих функций в виде ря дов вычисляются достаточно быстро и хорошо сходятся при числе членов ряда = 64 в первом и = 10 во втором случае 8.4. Фильтрация выбросов Рассмотренные в этой главе критерии могут быть использо ваны как для проверки гипотез о законе распределения слу чайной величины, так и для обработки результатов измерений 8.5. Сравнение мощности критериев с целью выявления факторов, выходящих за рамки той или иной статистической модели. Всякий раз, когда наблюдают ся выбросы вариационного ряда за границы коридора, опреде ляемого выбранной доверительной вероятностью, возникает дилемма: можно либо уменьшить доверительную вероятность и расширить коридор, либо отвергнуть гипотезу о том, что все выборочные точки объясняются с помощью одной и той же статистической модели.

Зависимость коридора от доверительной вероятности доста точно хорошо иллюстрирует рис. 8.3. Последний из трех гра фиков, приведенных на этом рисунке, показывает, что довери тельная вероятность = 0.05 дает весьма широкий коридор, и что даже коридор, соответствующий = 0.5, может покрыть все выборочные точки. Это наблюдение объясняет использо вание в прикладных исследованиях более слабого критерия, согласно которому точки, выпадающие из коридора с дове рительной вероятностью = 0.01, считаются выбросами, воз никновение которых объясняется действием неучтенных фак торов.

Упражнение 8.2. Показать, что отклонения выборочного ку мулятивного распределения от истинного распределения на ве личину, превышающую * ( ) = 1.627, где – объем выборки, происходят с вероятностью = 0.01. Для вывода этой оценки следует воспользоваться формулой (8.6).

Функция * ( ) может служить границей, превышение которой указывает на присутствие неучтенных факторов.

8.5. Сравнение мощности критериев Существование конкурирующих статистических критериев вы зывает естественное желание выбрать лучший из них. Возмож ность аргументировать выбор дает концепция мощности кри терия (power of test, англ.), введенная в употребление Е. Пир соном и Дж. Нейманом.

Глава 8. Критерий Колмогорова Статистическая гипотеза называется простой, если она од нозначно определяет распределение. В противном случае ги потеза называется сложной. В условиях неопределенности от носительно того, верна или не верна гипотеза, правильных ре шений может быть два: принять гипотезу при условии, что она верна, или отвергнуть ее при условии, что она ошибочна.

0. 0. 0. 0. CI CI Рис. 8.6. Распределения вероятностей значений статистически () в двух случаях: если нулевая гипотеза верна (сплошная ли ния) и если верна альтернативная гипотеза (пунктирная кривая). В этом случае нулевая и альтернативная гипотезы являются просты ми гипотезами На горизонтальной оси рисунка выделен доверительный ин тервал () = [(), ()], в котором принимается нулевая гипотеза, и закрашенная черным область, в которую может по пасть выборочная статистика, в случае, если нулевая гипотеза не верна. Но поскольку часть хвоста распределения альтерна тивной гипотезы попадает на доверительный интервал, в кото ром принимается нулевая гипотеза, закрашенная черным пло щадь равна вероятности принять нулевую гипотезу, если она ошибочна. Площадь дополнения заштрихованной области под пунктирной кривой и является мощностью статистического критерия. Эта область лежит вне доверительного интервала и в ней нулевая гипотеза отвергается вполне корректным обра 8.5. Сравнение мощности критериев зом, если достаточно велико.

Для простых гипотез мощность критерия равна вероятно сти отвергнуть нулевую гипотезу, если она ошибочна:

(8.8) = 1 (), () где () – доверительный интервал, отвечающий уровню ста тистической значимости для принятия гипотезы 0, а 1 () – распределение выборочной статистики при условии, что вер на альтернативная гипотеза 1.

В случае критериев, рассмотренных в этой главе, нулевая гипотеза является простой, а альтернативная – сложной.

Глава 9. Метод максимального правдоподобия Глава 9. Метод максимального правдоподобия Идентификация параметров методом наибольшего правдоподобия. Ин формация Фишера и неравенство Рао–Крамера. Оптимальные статисти ки. Информация Фишера и принцип неопределенности.

9.1. Функция правдоподобия и ее свойства Для оценки показателя степени полиномиального хвоста мож но использовать часть эмпирических данных { } { }, 1 например, его правый конец с отброшенными редкими мак симальными значениями. Оставшиеся точки сортируются в порядке возрастания (таким образом строится вариационный ряд) и далее оценивается показатель степени по формуле ) ( (9.1) = 1 + ln, которая обосновывается ниже методом максимального прав доподобия1.

Суть этого метода довольно проста и состоит в следующем.

Если случайные точки { } имеют одинаковые независимые распределения с плотностью вероятности (|), зависящей от неизвестного параметра, то многомерная -точечная плот ность вероятности такого набора равна def (1,..., |) = ( |).

Нас интересует аргумент максимума этой функции по па раметру, поскольку он соответствует наиболее вероятному событию. Аргумент экстремума не изменяется при любом мо нотонном преобразовании этого произведения, поэтому удобно maximum likelihood method.

Соответствующий англоязычный термин – 9.1. Функция правдоподобия и ее свойства перейти к логарифмической функции правдоподобия def (9.2) (1,..., |) = ln (x|) и найти точку ее максимума. Для этой цели используется необ ходимое условие экстремума : (x|) = 0. Ясно также, * что вторая производная функции правдоподобия в точке мак симума * отрицательна, и чем больше значение второй про изводной по абсолютной величине, тем быстрее убывает плот ность вероятности (x|) при отклонении от точки *. В этом смысле модуль второй производной | (x|* )| характеризует степень локализации экстремума – чем больше | (x|* ) |, тем более надежна информация о значении параметра, полученном методом наибольшего правдоподобия.

Величина () = E (|) называется информацией Фи шера одного наблюдения. В силу закона больших чисел или центральной предельной теоремы она является предельным зна чением 1 | (x|)| при :

12 1 2 ( |) E (|).

(x|) = = Для многомерных параметров эту роль играет определитель матрицы вторых производных функции правдоподобия.

Нетрудно видеть, что функция правдоподобия объединения множеств независимых эмпирических данных равна сумме ло гарифмических функций правдоподобия этих множеств.

Предположим, что – истинное значение неизвестного пара метра распределения. Поскольку (|) = 0 в точке = * и, согласно ЦПТ, 1 (x|) E (|) в любой точке 2 при, то, разлагая (|) в ряд Тейлора в окрестности точки, получим * * ( ) * ( )2 2 * (x| ) * * (x|) = (x|) (x| )+ (x| ) 2(), 2 * 2 * (x| ) (E (| )) ().

Глава 9. Метод максимального правдоподобия Это наблюдение объясняет важную роль информации Фише ра и мотивирует следующую гипотезу о предельном распреде лении погрешности оценок, полученных методом наибольшего правдоподобия:

( ) 1 * 2, (9.3) 2 ( ) 1 ) то есть = 2.

* ( Вернемся к примеру, с которого мы начали эту главу. Если случайные величины [min, ) имеют распределение Паре то с неизвестным показателем, то ) 1 ( ) ( 1, (1,..., |) = (|) =, min min min min функция правдоподобия равна (x|) = ln( 1) ln min ln.

min Точку безусловного экстремума этой функции находим из необ ходимого условия ( ) * = 1 + 0 = / = ln ln.

1 min 1 Нетрудно видеть, что 2 /2 = ( 1)2 0, так что точка – аргумент максимума. В качестве точки min есте * ственно использовать оценку min = 1.

Теорема 9.1. Выборочное среднее 1 = ( 1)1 ( 1) * ln дает состоятельную оценку показателя, а точка 1 явля ется состоятельной оценкой для min.

9.1. Функция правдоподобия и ее свойства Доказательство. Начнем с последнего утверждения. Как мы знаем из (1.21), минимальное из одинаково распределенных независимых случайных величин имеет плотность min (1) ( ) {min(1,..., ) } = ( ) =.

min Обезразмеривая интеграл с помощью замены и инте грируя по частям, получаем min (1) ( ) 1 E ln = ln = min min min ( ) (1) (9.4) = ln = ( ) (1) 1 = = ( 1) при. Покажем, что E ln = ( 1)1 + ( 1 ).

Учитывая (9.4), имеем 1 1 min E E + E ln ln ln = 1 min 1 + ( 1 ).

=E ln min Убедимся, что E ln – несмещенная оценка параметра min ( 1)1. Действительно, min ( ) 1 E ln = ln = min min min = + = = ln =.

1 Теорема доказана.

Глава 9. Метод максимального правдоподобия 0. 0. 1.0 0. 0. 1. 0. 1.2 0. 0. 1. 1.0 1.5 2.0 2.5 3.0 3.5 4. 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3. Рис. 9.1. Графики функции правдоподобия (x|)/ для слу чайных выборок из распределений Парето (слева) ( = [1, ), () = ( ), = 2) и Пуассона ((|) =, R+, = 2) (справа). По оси меняется. С увеличением объема выборки {100,..., 500} длина пунктира увеличивается. Положение мак симума является случайной величиной, которая сходится к = при Упражнение 9.1. Показать, что если имеет распределение + ( ) min Парето (|min, ) = [min,) (). на (min, ), min то дисперсия случайной величины ln min равна 2 = 2.

Следствие 9.1. Доверительные интервалы для параметра определяются из соотношения ( ) 1 1 = 1 2.

lim P ( 1)2 ln 1 Приведем результат Мунирузамана (Muniruzzaman, 1957) об оценке показателей степенных распределений, точность кото рых характеризуется с помощью информации Фишера.

Теорема 9.2. При оценка (9.1) показателя поли номиального распределения сходится почти наверное к его ис тинному значению. Если существует окрестность (, ) точки, в которой отношение производных 3 (x|1 )/ (x|1, 2 ) = 2 (x|2 )/ 9.1. Функция правдоподобия и ее свойства ограничено равномерно по x = {1,..., } 1, 2 (, ), то ( ) (0, ), где 2 = (E (x|))1.

* Следствие 9.2. В рассмотренном примере 2 = ( 1)2, (x|1, 2 ) = 2(2 1)2 /(1 1)3 не зависит от, и для лю бого 1 существует окрестность (, ), в которой это отношение равномерно ограничено, поэтому ( ) 1 2 ( * ) = 2.

lim P ( 1) С помощью метода максимального правдоподобия несложно получить оценки среднего значения и дисперсии нормального распределения. В этом случае ( ) (x|, ) = ln, 2 * : 0 = (x|, ) ( ) = 0 * =, * ( * )2.

: 0 = (x|, ) = Как нам уже известно, такая оценка среднего значения явля ется несмещенной, а оценка дисперсии смещена (несмещенная оценка имеет вид = 1 1 ( ) ), но состоятельна, 2 * то есть lim =.

Рассмотрим применение метода для определения параметра пуассоновского распределения ( |) =, 0, которое часто встречается при измерении интервалов времени ожида ния случайных событий. Пусть = { } – массив случайных экспоненциально распределенных точек с неизвестным пара метром. Ему соответствует функция правдоподобия ) ( |) = ln 1 = ln (.

Глава 9. Метод максимального правдоподобия 2.0 2.0 2.0 90 1.8 1.8 1. 1.6 1.6 1.6 1.4 1.4 1. 1.2 1.2 1. 1.0 1.0 1.0 110 120 0.8 8 0.8 0. 130 0.6 12 0.6 0.6 1.0 0.5 0.0 0.5 1.0 1.0 0.5 0.0 0.5 1.0 1.0 0.5 0.0 0.5 1. Рис. 9.2. На рисунках изображены линии уровня логарифмической функции правдоподобия стандартного нормального распределения, построенные по 10, 100 и 1000 случайных точек. По оси абсцисс ме няется среднее значение, по оси ординат - дисперсия. Правильная локализация экстремума заметно улучшается при увеличении объе ма выборки Используя принцип максимального правдоподобия, получим вполне ожидаемый результат:

* * : ( |) = 0 =.

= Упражнение 9.2. Доказать, что оценка интенсивности * пуассоновской случайной величины – несмещенная, а ее ин формация Фишера равна () = 2.

9.2. Информация Фишера и неравенство Рао–Крамера В рамках метода максимального правдоподобия информация Фишера используется для характеризации достоверности оце нок. Она играет такую же роль, как и величина, обратная дисперсии в центральной предельной теореме.

Лемма 9.1. Пусть – случайная величина с распределением (|), зависящим от параметра, и (x) = (1,..., ) – некоторая статистика (функция от случайной выборки, не зависящая от параметра явно). Тогда 9.2. Информация Фишера и неравенство Рао–Крамера 1) E (x|) = 0.

2) E (x) = E (x) (x|).

) 3) Информация Фишера () = E (|), связанная с ( наблюдением случайной величины, может быть запи сана в одной из трех эквивалентных форм:

) () = E (x|) = E (x|) = D (x|).

( Доказательство. Докажем равенство 1:

( |) E (x|) = ( |) = ( |) = ( |) = = 1 = 0.

Равенство 2 доказывается аналогично. Имеем ( |) = E (x) = (x) ( |) ( |) = E (x) (x|).

= (x) ( |) = Равенство фактически вытекает из определения плотности вероятности (|) = 1. В случае = 1 очевидно, что (|) (|) = 0 = (|) = (|) (|) (|) (|) = = (|) + (|) 2 ( (|) (|) + (|) (|) = = ) = E ( · |) + E ( · |) = D ( · |) + E ( · |), 2 ( Глава 9. Метод максимального правдоподобия так как E ( · |) = 0. Если 1, то для независимых случайных величин { } имеем ) E (x|) = ( ( ) ( |) ( |) ( |) = = + ( |) ( |) = = = )2 ) ( ( ( 1) (1 |) (1 |) 1 + (1 |) 1 = = (1 |) 2 = E ( (·|))2 = (), так как (|) = (|) = 0. Отсюда следует по следнее утверждение леммы.

Упражнение 9.3. Вычислить информацию Фишера для рас пределения Парето (min, ) с плотностью min + ( ) (|min, ) = [min,) ().

min Как уже говорилось выше, статистикой (в узком смысле это го слова) называется любая функция : от некото рого множества x = {1,... } выборочных данных. Если статистика используется для оценки некоторого параметра распределения случайных величин, то функция называ ется несмещенной статистикой, если E (x) =. Разность () = E (x), если она не равна нулю, называется смеще нием. Нетрудно видеть, что E ( (x) )2 = D + 2 (), где D – дисперсия случайной величины. Если оценива ется некоторая функция () от параметра, то определения 9.2. Информация Фишера и неравенство Рао–Крамера Т а б л и ц a 9. (, ) (, ) (, ) () () (, ) (1, ) 1 2 1 1 () 2 2 2 2 (1) 2 (1) практически не меняются: условие несмещенности имеет вид E (x) = (), а смещение равно () = E (x) ().

Упражнение 9.4. Убедитесь, что информация Фишера для оценки параметров основных вероятностных распределений име ет выражения, указанные в таблице 9.1.

Неравенство Рао–Крамера устанавливает нижнюю границу для дисперсии произвольной смещенной статистики. Стати стика называется эффективной, если ее дисперсия достигает нижней границы.

Теорема 9.3. Если (), () – гладкие функции, то ( () + ()) (9.5) D (x).

() Если () = 0, то равенство (9.5) достигается только в том случае, если (x) () = () (x|), где () – некоторая функция. Это условие, в частности, выполнено, если (|) = ()()+()+(), (9.6) () = 0, () (x|) def, () =. (9.7) (x) = ( ) = () + () () = Доказательство. Докажем первую часть теоремы. Равенство E (x) = () + () Глава 9. Метод максимального правдоподобия выполнено по условию теоремы. С другой стороны, E (x) = E (x) (x|) = E ( (x) E (x)) (x|) согласно первой и второй частям леммы 9.1.

Применяя неравенство (1.18) E (, ) E ||||2 E ||||2 в случае = R, = (x) E (x), = (x|), получаем () + () = E (x) (x|) D (x) D (x|), где D (x|) = () в силу третьего утверждения леммы 9.1. Отсюда следует неравенство Рао–Крамера:

( () + ()) D (x).

() Первая часть теоремы доказана.

Докажем достаточность второго условия теоремы. В случае () = 0, неравенство (9.5) переходит в D (x) ( ()). Из () второго и первого утверждений леммы 9.1 следует, что () = E (x) = E (x) (x|) = E ( (x) ()) (x|).

C учетом связи (x) () = () (x|), правая часть в последнем равенстве имеет две эквивалентные формы:

E ( (x) ()) (x|) = ()E ( (x|))2 = ()1 D (x), поэтому ( ())2 = E ( (x|))2 D (x) = () D (x). От сюда следует равенство D (x) = ( ()).


() Для завершения доказательства убедимся, что из (9.6) сле дует (9.8) (x) () = (x|).

() Достаточно рассмотреть случай = 1 (см. n. (3) леммы 9.1).

9.3. Оптимальные статистики Для функции (|) = ()() + () + () при выборе () () = (), () = () имеем () () () = () + () 1 ( ()() + () ) = () (|).

= () Поэтому () () = () (|) при = 1, () = и () оценка Рао–Крамера достигает нижней границы.

Доказательство необходимости условий (9.6), (9.7) можно найти в книге Крамер Г. Математические методы статистики.

– М.: Мир, 1975.

Следствие 9.3. Если () = и статистика является несмещенной, т.е. () = 0, то произведение дисперсии ста тистики на информацию Фишера больше или равно единице:

() D () 1.

Если выполнено (9.6), то оптимальная оценка парамет * ра определяется из условия (| * ) = 0 или (* ) def def * ( ) = = ( ), (x) = * ( ) при этом * ( ) ( ) () 1 (9.9) lim P =, D (x) Это утверждение вытекает из ЦПТ. Ниже приводится таблица значений (), () и D (x) для основных распределений.

Глава 9. Метод максимального правдоподобия Т а б л и ц a 9. () (, ) (, ) (, ) () (, ) (1, ) 2 () 2 22 2 1 /(1 ) () D 2 24 2 (1 )/ ( ) () / ln 9.3. Оптимальные статистики Предположим, что для оценки параметра используется несме щенная статистика (x). Статистика, имеющая минимальную дисперсию, называется оптимальной. Далее мы рассмотрим примеры и свойства оптимальных статистик.

Пример 9.1. Пусть – бернуллиевская случайная величина, принимающая значения {0, 1} с вероятностью и 1 соот ветственно, и пусть x = {1,..., } – серия независимых ис пытаний. Выборочное среднее def (9.10) (x) = = является несмещенной оценкой параметра. Ее дисперсия рав на D (x) = (1). Точно так же свойством несмещенности обладают статистики 1 C, (a, x,) =, =, 2 (1 ) (1 ) D (a, x,) =, 2 где = max | |. Таким образом, существует континуум несме щенных статистик и возникает задача построения и характе ризации оптимальных.

9.3. Оптимальные статистики Покажем, как решается задача для распределения Бернулли.

Лемма 9.2. Статистика (9.10) является оптимальной.

Доказательство. Покажем, что D (x) (1) для любой дру ^ ^ гой статистики. Рассмотрим функцию правдоподобия и ее производную для распределения Бернулли () = (1)1, где {0, 1}:

+ ln(1 ) (1 ), (x|) = ln ( ) 1 (1 ) = (x|) =.

1 (1 ) Поэтому () = E ( (x|))2 = (1).

Как было показано в лемме 9.1, пп. 1–2, ^ E (x|) = 0, E (x) (x|) = 1.

^ Отсюда следует, что E ( (x) ) (x|) = 1, так как пара метр неслучайный. Теперь из неравенства Коши–Буняковско го–Шварца (1.18) E E ||2 E ||2 получаем требуемое нера ^ ^ ^ венство для = (x), = (x|), D (x) = E ( (x) )2 :

(1 ) 1 ^ D (x) = D (x).

= = E ( (x|))2 () Лемма доказана.

В заключение приведем два примера оптимальных статистик.

Пример 9.2. Для равномерного распределения на [0, ] опти мальной оценкой параметра является max.

Пример 9.3. Для отрицательного распределения Бернулли (, ) оптимальной оценкой параметра является =.

=1 + Глава 10. Марковские цепи и случайные блуждания Глава 10. Марковские цепи и случайные блуждания Марковские цепи и случайные блуждания. Закон арксинуса. Классифи кация состояний. Теорема Перрона–Фробениуса.

10.1. Марковские цепи Матрица = { } с коэффициентами 0 назы вается неотрицательной1. Конечное или бесконечное имеет смысл числа возможных значений некоторой случайной вели def чины { } =. Векторы { } с неотрицательными = компонентами, удовлетворяющие условию = 1, задают распределение вероятностей (10.1) { = } =, а неотрицательные матрицы = { }, такие что (10.2) = 1, def используются для описания переходов +1 =. В этом слу чае последовательность случайных величин { }, {0, 1, 2,... } называется однородной по времени цепью Маркова, независя щие от времени матричные элементы – вероятностями перехода, а сама матрица – стохастической матрицей.

В определение цепи Маркова заложено предположение о том, что вероятность перехода из в состояние не зависит от предыдущих состояний цепи. Следовательно, вероятность последовательности состояний {1 2 · · · } мо жет быть вычислена по формуле произведения вероятностей называется положительной, если 0. Напом Матрица называется неотрицательно определенной, ним, что матрица (, ) 0, R.

если 10.2. Случайное блуждание независимых событий:

( ) (10.3) {0 1 · · · } =,1 0, = где 0 – заданная в начальный момент вероятность состоя ния 0, а,1 – условная вероятность перехода из = состояния 0 в за шагов при условии, что в моменты 1,..., система находилась в состояниях 1,..., 1, после довательность которых называется траекторией марковской цепи, а величина (10.3) – вероятностью этой траектории.

Следующее естественное обобщение состоит в определении вероятностных мер на неубывающем семействе алгебр траек торий, 1, порождаемых событиями вида () = { при, любое при },, ( ) ( ()) =,1 0, = 0 0,..., где – множество целочисленных индексов, сопоставляемое множеству точек согласно (10.1).

Ниже мы рассмотрим задачи, иллюстрирующие возможно сти теории марковских цепей и обосновывающие переход от случайных блужданий к диффузионным процессам.

10.2. Случайное блуждание Случайное блуждание является простейшим примером цепи Маркова. Множество значений процесса – одномерная цело численная решетка, а матрица переходных вероятностей этого процесса двухдиагональна:,±1 = 1, остальные переходы за прещены. Для этой цепи, =. Такие цепи называются пространственно однородными.

Блуждание, начинающееся в некотором узле решетки, мо жет вернуться в исходную точку только через четное число ша гов. Пусть 2 – вероятность вернуться через 2 шагов, и пусть Глава 10. Марковские цепи и случайные блуждания 2 – вероятность вернуться в первый раз через 2 шагов.

Благодаря марковскому свойству блуждания и несовместности различных значений моментов первого возвращения, имеет ме сто тождество если = 0, 1, (10.4) 2 =, если 0.

=1 2 С другой стороны, вероятность возвращения через 2 шагов выражается явным образом через число траекторий, соверша ющих шагов вправо и шагов влево: их число равно 2. Доля таких траекторий среди 2 2 траекторий равна вероятно сти возвращения:

( 2 ) 4 = (1/2 ). (10.5) 2 ( )2 = 2 = 2 2 Для того, чтобы вычислить 2 используется дискретный аналог характеристической функции распределения времени возвращения:

1 def 2.

= () = 2 =, () = 22 2 =0 =0 = Подставляя эти выражения в (10.4), получим уравнение для :

2 22 = () =1 + =0 = 2 22 = 1 + () ().

=1+ = = Выражая 1 1 через интеграл от 1/ 1, находим 1 1 = 1 1 = () = 1 =, (2 1) () 20 1 = 10.2. Случайное блуждание следовательно, ( 2 ) 22 2 2 = = = ( ) (2 1) 2 (2 1)22 2 (10.6) = (3/2 ).

= (2 1) В теории игр этот результат интерпретируется как вероятность оставаться в выигрыше (или проигрыше) в серии из = игр подряд в случае, если возможные исходы игр равноверо ятны. Для игрока, находящегося в проигрыше, этот резуль тат означает, что, скорее всего, отыграться не удастся, так как среднее время пребывания в этом состоянии бесконечно:

E = 2 2 =.

Аналогичным образом вычисляется вероятность 2,2 по ложительного выигрыша в течение 2 игр в серии из 2 игр:

= (1/2 ). (10.7) 2,2 = 2 ( ) Отсюда выводится закон арксинуса. Его утверждение согла суется с приведенной выше интерпретацией формулы (10.6) и в таком же смысле довольно неожиданно: вероятность мак симального выигрыша или проигрыша ( 0 или ) выше, чем вероятность результата близкого к нулевому ( /2)2.

Теорема 10.1. При фиксированном (0, 1) и при существует предельная вероятность оставаться в положи Несмотря на теоретическую симметрию распределения выигрышей и проигрышей, статистика торгов на фондовом рынке демонстрирует несим метричное распределение рейтинга участников: около 80% участников торгов, занесенных в архив, фигурируют как проигравшие. Простое объ яснение заключается в том, что проигрывающий имеет естественный мо мент вынужденной остановки (момент исчерпания средств на счете), по сле достижения которого продолжение торгов невозможно, а выигрываю щий не имеет оснований для прекращения операций. Это обстоятельство искажает симметрию реального процесса.

Глава 10. Марковские цепи и случайные блуждания 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0 5 10 15 20 25 0 5 10 15 20 25 Рис. 10.1. На левом и правом графиках изображены плотность и кумулятивное распределение времени положительного выигрыша тельном выигрыше в течение не более игр равна 1 lim 2,2 = lim = (1 ) (10.8) =0 = 2 1/ = arcsin 1/2.

= 0 Это распределение называется законом арксинуса.

10.3. Классификация состояний цепи Маркова Рассмотрим более подробно классификацию состояний цепи Маркова с бесконечным множеством состояний. Состояние называется возвратным (невозвратным), если вероятность возвращения за конечное число шагов равна единице (стро го меньше единицы), и поглощающим, если цепь остается в этом состоянии с вероятностью единица. Состояние назы вается достижимым из состояния, если для некоторого конечного 0, где – степень переходной матрицы мар ковского процесса. Замыканием состояния называется мно жество всех состояний, достижимых из. Состояние назы вается положительным (нулевым), если среднее число шагов между возвращениями конечно (бесконечно). Если наиболь ший общий делитель () чисел, таких, что 0, равен единице, то состояние называется апериодическим. Цепь 10.4. Теорема Перрона–Фробениуса Маркова называется неприводимой, если все ее состояния до стижимы из любой начальной точки за конечное число ша гов с положительной вероятностью, равномерно ограниченной снизу. Очевидно, что свойство неприводимости может иметь место только для цепей с конечным числом состояний. Доста точным условием неприводимости является неотрицательность всех элементов некоторой степени переходной матрицы.


10.4. Теорема Перрона–Фробениуса Существование предельного распределения состояний марков ской цепи, не зависящее от ее начального состояния, может быть легко установлено в случае, если 0.

Теорема 10.2. Если переходные вероятности конечной це пи Маркова строго положительны, то для любого начального распределения существует такое распределение { }, что * lim = *. (10.9) Доказательство. Обозначим через – транспонированную мат рицу. Из определения следует, что = 1,, =0 = 1 0 1. Нетрудно видеть, что функция () = (1 ) + – возрастающая, если, и убывающая, если. Следовательно для любого = { } max( ) = max( + 0 0 ) (1 ) max + min, = min( ) = min( + 0 0 ) (1 ) min + max.

= Поэтому max ( ) min ( ) (1 2)(max min ) и при существует предел:

max(( ) ) min(( ) ) (1 2) (max min ) 0.

Глава 10. Марковские цепи и случайные блуждания Таким образом, ( ) *, * [min, max ] – неко торая постоянная, а = {1,..., 1} – вектор с единичными компонентами. Поэтому предел lim (, ) = lim (, ( ) ) = (, )* = * не зависит от. В частности, выбирая () = {0,..., 1,..., 0}, можно найти любую компоненту распределения * :

= lim ( ) = lim (, () ) = * () ) = (, )(() )* = (() )*, = lim (, ( ) где (() )* = lim ( ) () и (, ) = 1 в силу вероятност ной нормировки = 1.

Следствие 10.1. Всякая конечная стохастическая матрица имеет единственный собственный вектор * с неотрица тельными компонентами, отвечающий собственному значе нию 1, остальные собственные значения по модулю не превос ходят единицу. Столбцами предельной матрицы * = lim являются векторы *, то есть ранг * равен единице.

Доказательство. Если бы существовал второй собственный век тор 2, имеющий смысл распределения вероятностей, то его * компоненты должны совпасть с компонентами вектора :

* (2 ) = lim (2, () ) = (2, )(() )* = (() )* =.

* * * * С другой стороны, известна следующая оценка собственных значений оператора : || |||| = || ||. Поэтому для мат рицы имеем || max | | max =, где – собственный вектор, отвечающий собственному значению (то есть = ), и = max | |. Поэтому || 1.

Поскольку предел lim(, () ) = * не зависит от, вы бирая = () = {0,..., 1,..., 0}, мы выделяем -й столбец 10.4. Теорема Перрона–Фробениуса матрицы : ( )() = (), что не меняет значение преде ла. Поэтому все столбцы предельной матрицы * равны *.

Этот результат распространяется на класс марковских це пей с неразложимыми стохастическими матрицами, причем попутно удается получить вероятностную интерпретацию ком понент предельного распределения: – частота посещения * состояния, то есть величина, обратная к среднему времени возвращения в состояние.

Вероятность вернуться за один шаг совпадает с вероятно стью остаться в исходном состоянии. Вероятность вернуться ровно за два шага не должна учитывать вероятности события, при котором процесс не покидал исходное состояние, и т.д.:

(1) (2) (1) = ( 2 ),..., =, (10.10) () () = ( ) ( ).

= Перечисленные в (10.10) события несовместны, поэтому веро ятность вернуться за любое конечное число шагов и среднее значение числа шагов между возвращениями равны () () (10.11) =, =.

=1 = Теорема 10.3. 3 Необходимым и достаточным условием не возвратности состояния является. Если = состояние возвратное и апериодическое, то lim =.

Алгебраическое доказательство аналога этого утверждения можно найти в книге Гантмахера Ф.Р. “Теория матриц” (М.: Наука, 1967), а ве роятностное – в книге Ширяева А.И. “Вероятность” (М.: Наука, 1980).

Глава 11. Скачкообразные и диффузионные процессы Глава 11. Скачкообразные и диффузионные процессы Пуассоновский процесс и уравнение Колмогорова–Феллера. Сходимость случайных блужданий к винеровскому процессу. Представление стан дартного винеровского процесса рядом Фурье со случайными коэффи циентами. Принцип отражения Андрэ и другие оценки распределения времени первого достижения. Формула Фейнмана–Каца и ее обобщения.

Абсолютно непрерывные преобразования вероятностных мер.

11.1. Пуассоновский процесс Пуассоновский процесс является случайным блужданием со случайным временем ожидания перехода в новое состояние, причем время ожидания не зависит от истории процесса. По определению пуассоновского процесса, вероятность отсутствия переходов равна 0 { } = 1 + (2 ) = (1 / + (/)2 ) 1.

Последнее равенство является следствием марковского свой ства. Поэтому 0 { } = lim(1 / + (/)2 ) =.

Для пуассоновского процесса предполагается, что вероятность двух и более переходов за время равна 2 { } = (2 ), поэтому 1 { } = + (2 ).

Отсюда находим рекуррентное уравнение для вероятности со вершить переходов за время :

1 ()(), 1 ()1 ()0 ( ) = () = 0 решение которого можно найти по индукции:

() (11.1) () =.

!

11.1. Пуассоновский процесс Рассмотрим однородный марковский скачкообразный про цесс : R+ R, совершающий скачки, распределение кото рых не зависит от того, из какой точки они происходят1 :

(11.2) { 0 } = (), где – вероятностная мера на (R ). Если не сказано про тивное, считается, что процесс начинается в точке 0 = 0.

Обозначим через случайную траекторию марковского про цесса, совершающего скачки с распределением и интенсив ностью, и пусть () – характеристическая функция мно жества R. Переходная вероятность перехода из точки за время на множество по определению равна вероятност ной мере всех траекторий, удовлетворяющих этому условию.

Таким образом, (, |) = E ( + ).

Используя марковское свойство процесса и независимость ве личины скачков от их числа и моментов времени, в которые они происходят, можно написать следующее разложение пере ходной вероятности в сумму вкладов от несовместных событий (число скачков за время равно 0, 1,... ):

( +, |) = E ( + + ) = = (1 )E ( + ) + ()E ( + + ) + () = = (1 ) (, |) + () ( +, |) + () = = (, |) + ()( ( +, |) (, |)) + (), Для определенности будем считать, что – так называемый cadlag process, процесс непрерывный справа, имеющий предел слева в каждой continue ` droite, limite ` gauche).

a a точке (фр.:

Глава 11. Скачкообразные и диффузионные процессы так как R () = 1. Переходя к пределу при 0, полу чаем уравнение Колмогорова–Феллера, справедливое как для (, |), так и для интегралов вида (, ) = (, |) () = E ( + ) с ограниченной измеримой функцией (). В этом случае (, ) = ()( ( +, ) (, )), (, )|=0 = ().

Данное уравнение имеет эквивалентную интегральную форму:

(, ) = () (, ) + 1 (1 ) () ( +, 1 ) = (1 ) = () + 1 () ( +, 1 ), где первое слагаемое отвечает траектории, не совершающей скачков (на (, ] либо на (0, ]), а интегральный член описы вает вклад от траекторий, не совершающих скачков на интер вале (1, ]. Эквивалентность интегральных форм исходному уравнению Колмогорова–Феллера проверяется дифференциро ванием по.

Интегральная форма допускает построение решения в виде ряда (ряда Дайсона) (, ) = () + (1 ) 1... 0 (1 )... ( ) ( + ) = ()+ (11.3) () + (1 )... ( ) ( + ), ! R R где = 1 +· · ·+, а -й член описывает вклад в математиче ское ожидание от траекторий, совершающих ровно скачков.

11.2. Диффузионный предел Замечание 11.1. Формулы (11.3) показывают, что если фик сирован конечный момент времени и число скачков, то мо менты скачков { } равномерно распределены на отрезке [0, ].

Поэтому численное моделирование траекторий пуассоновского процесса состоит из четырех операций:

1) генерируется случайное число скачков на отрезке [0, ] с распределением (11.1);

2) генерируется точек { }, равномерно распределенных на отрезке [0, ] (моменты скачков);

3) генерируется случайных величин { } с распределением (11.2) (величины скачков);

4) строится траектория = :.

11.2. Диффузионный предел случайных блужданий Рассмотрим моменты смещения за время симметричного пуас соновского процесса, траектория которого совершает случай ное блуждание с шагом. Нетрудно видеть, что нечетные моменты равны нулю, а четные могут быть вычислены сле дующим образом:

() 2 = ( 2)2.

(11.4) !

=0 = Сумма по имеет смысл усреднения по случайному числу скачков за время, а сумма по – по смещениям ( 2) цепи Маркова, совершающей симметричное блуждание с ша Глава 11. Скачкообразные и диффузионные процессы гом. Заметим, что 2 ( ) ( 2) = = =0 = )2 ( (1 + 2 ) = = = )2 ( ) ( 1 = ( + ) = ( + ).

=1 = Поэтому для = ln имеем тождество, позволяющее вычис лить моменты любого четного порядка:

( ) () 2 = ( + ) = ! = = )2 ( (cosh 1).

= = В силу симметрии распределения скачков все нечетные мо менты смещения равны нулю. Вычисляя четные моменты, можно найти их предельные значения в предположении, что интенсивность скачков стремится к бесконечности, а величи на скачка – к нулю, так что 2 2 :

2 = 2 =2 2, 4 = 4 =4 ( + 3()2 ) 3!!( 2 )2, 6 = 6 =6 ( + 15()2 + 15()3 ) 5!!( 2 )3, (11.5) 8 8 4 2 = ( + · · · + 105() ) 7!!( ), 8 =...

2 =2 ( + · · · + (2 1)!!() ) (2 1)!!( 2 ), 2 = def где (2 1)!! = 1 · 3 · · · (2 1). ( ) Из формулы Стирлинга следует, что 2 = 2 2 при больших. Поэтому моменты (11.5) удовлетворяют условию 11.2. Диффузионный предел Карлемана (4.3) ( ) = 22 = = и однозначно определяют распределение смещения.

Такие же моменты имеет случайная величина с распреде лением, соответствующим значению в момент функции Грина () уравнения диффузии (,, ) = 2 2 2, (,, 0) = ( ).

= 2 Более точно, (,, )( )2 = (2 1)!!( 2 ).

() = В силу теоремы о достаточном условии равенства характери стических функций, из условия Карлемана для предельного распределения случайных блужданий следует совпадение рас пределений предела случайных блужданий = (, ) при 2 2, 0 и диффузионного процесса. Марковский случайный процесс, переходные вероятности которого зада ны с помощью функции Грина, называется диффузионным процессом с нулевым средним и дисперсией 2 :

{+ | = } = (,, ).

Поскольку плотность предельного распределения непрерывна, из теоремы Бохнера–Хинчина следует слабая сходимость пе реходных вероятностей пуассоновского процесса (, ) к пе реходным вероятностям диффузионного процесса. Более глубоким фактом является то, что мера Винера на -алгебре непрерывных траекторий определяется переходными вероят ностями винеровского процесса (Ито К., Маккин Г., Диффузи онные процессы и их траектории. М.: Мир, 1968, гл. I, § 1.4.).

Глава 11. Скачкообразные и диффузионные процессы Теорема 11.1. Пусть {} = – множество значений слу чайного блуждания и (, ) – его вероятностное рас пределение. Тогда для любой ограниченной непрерывной функ ции существует предел lim (, ) () = (,, ) ().

, 0,, 2 0. 0. 0. 0. 0. 0. 0.0 0.5 1.0 1. 4 2 0 2 Рис. 11.1. Траектории стандартного винеровского процесса, по лученные суммированием 200 членов случайного ряда Фурье, и ги стограмма распределения /2, построенная по 20 000 выборочных траекторий Замечание 11.2. Если случайные блуждания не симметрич ны так, что ± = 2 ± 2, то при, 0,, 1 2, предельный процесс является диффузией со сносом, ско рость которого равна :

2 2,,, = +.

2 11.3. Свойства траекторий винеровского процесса В заключение этой главы мы рассмотрим стохастическую реа лизацию диффузионного процесса и формулу Андрэ для веро ятности достижения заданного уровня траекториями случай ного процесса.

11.3. Свойства траекторий винеровского процесса Рассмотрим случайный процесс на отрезке [0, ]:

2 2 2 2 sin (11.6) = 0 +, = где (0, 1) – независимые нормально распределенные слу чайные величины с нулевым средним и единичной дисперсией.

Теорема 11.2. Случайный процесс на отрезке [0, ] яв ляется процессом с независимыми приращениями, E = 0, 2.

E = 2, E = 2 Доказательство. Доказательство использует следующее разло жение Фурье, проверку которого мы оставляем читателю:

sin sin (11.7) min{, } = 2, [0, ].

, = Очевидно, что E = 0. Заметим, что E = 2,, и напомним, что независимость гауссовских случайных величин следует из их некоррелированности. Пусть. Неза висимость приращений следует из равенства (11.7) и формулы для корреляционной функции процесса :

E ( )( ) = (sin sin )(sin sin ) = ( )( ) + 2 = = = ( )( ) + (min{, } min{, } + min{, } min{, })+ + + = ( )( ) + ( + )+ + + = 0.

Если =, = = 0, то аналогичные вычисления дают следу ющий результат:

E = 2 + 2 =, Глава 11. Скачкообразные и диффузионные процессы то есть дисперсия процесса равна E = 2.

Наконец, вычислим характеристическую функцию процес са, используя равенство 2 sin 2 = ( ), являющееся частным случаем формулы (11.7):

( ) + 2 sin 2 E =... = = (11.8) sin2 )} { 2 2 ( 2 = exp + 2 =, 2 что совпадает с характеристической функцией найденного вы ше предельного процесса.

Следствием теоремы 11.2 являются несколько нетривиальных свойств винеровского процесса.

Следствие 11.1. Траектории винеровского процесса облада ют следующими свойствами:

1. Автомодельность: если – стандартный винеровский про цесс, то = /2 также является стандартным винеров ским процессом.

2. Автомодельность относительно инверсии времени: если – стандартный винеровский процесс, то = 1/ также ^ является стандартным винеровским процессом.

3. Закон сублинейного роста: P lim 1 = 0 = 1.

( ) Доказательство. Последнее утверждение следует из второго:

P lim 1 = 0 = P lim 1/ = 0 = (+0 = 0) = 1.

( ) ( ) Поскольку и = 1/ имеют гауссовское распределение в ^ каждый момент времени, то достаточно убедиться, что их сред ние значения равны нулю (это очевидно), приращения незави симы (читателю предлагается проверить это самостоятельно), 11.3. Свойства траекторий винеровского процесса а дисперсии равны. Отсюда следуют первое и второе утвер ждения. Действительно, E = 2 E/2 =, E = 2 E1/ =.

^ Важная для приложений оценка вероятностной меры мно жества траекторий винеровского процесса, достигающих за данный уровень, может быть получена с помощью принципа отражения Андрэ, состоящего в следующем. Поскольку мар ковский процесс имеет независимые приращения и начина ется заново в каждый момент времени, то вероятностная ме ра траекторий, симметрично отраженных относительно произ вольной линии уровня, совпадает с мерой траекторий, превы шающих заданный уровень.

1. 2. 1. 1. 1. 0.5 0. 0. 0.0 0. 1. 0. 0.0 0.5 1.0 1. 0.0 0.5 1.0 1. Рис. 11.2. Траектории винеровского процесса, отраженные относи тельно уровня 0.5, достигаемого в случайные моменты времени Поэтому каждой траектории, оканчивающейся в момент выше заданного уровня, соответствует траектория, частично отраженная относительно этого уровня:

0. (11.9) { max |0 = 0} = 2 (, 0, ) [0,] Из этой формулы, в частности, следует, что мера траекторий, начинающихся в нуле и не пересекающих этот уровень в тече Глава 11. Скачкообразные и диффузионные процессы ние некоторого конечного времени, равна нулю, так как ( ) lim 1 { max |0 = 0} = 1 2 (, 0, ) = 0.

0 [0,] Решение задачи Коши для диффузионного уравнения мож но представить в виде математического ожидания по траекто риям процесса : функция (, ) = E 0 ( +) удовлетворяет уравнению 2 (11.10) |=0 = 0 ().

=, 2 Если начальное условие – гладкая функция, то этот полез ный факт легко выводится из свойств винеровского процесса E(+ ) = 0, E(+ )2 = 2. Действительно, пола def гая = + и используя марковское свойство процесса и свойство его моментов (11.5), получим (, +) (, ) = E 0 (+ + ) 0 ( + ) = ( ) = E ( + ) + ( + )( )2 + (2 ) = ( ) 2 E 0 ( + ) + (2 ).

= 2 Отсюда следует уравнение (11.10). Докажем более общее утвер ждение, называемое формулой Фейнмана–Каца.

Теорема 11.3. Пусть = {,..., } – вектор, компо (1) () ненты которого являются независимыми винеровскими про цессами, и 0,, – гладкие функции R C. Тогда ( (, ) = E 0 ( + ) 0 ( +) + (11.11) ) ( +) ( + ) + 11.3. Свойства траекторий винеровского процесса – решение задачи Коши для уравнения ( 2 ) (11.12) (, ) = + () (, ) + ().

Доказательство. Нетрудно видеть, что функция (11.11) удовле творяет начальному условию (, 0) = 0 (). Далее заметим, что (, ) = E ( +,,. ), где (,,. ) – функция первых двух переменных и функционал третьей, причем (,,. ) = () (,,. ) + ().

В обозначении аргумента. функционала точка указывает на зависимость (,,. ) от всей траектории { } [0,].

() () () () Поскольку E (+ )(+ ) = 2, то (, + ) (, ) = E (+ +, +,. ) ( +,,. ) = ( ) () () = E ( +,,. ) + ( ( +,,. )(+ )+ = 1 () () () (), ( +,,. )(+ )(+ ) + ()2 = +,= ( 2 ) + () E ( +,,. ) + () + ()2 = = = ( 2 ) + () (, ) + () + ()2.

= Отсюда следует уравнение (11.12).

Замечание 11.3. Обозначив + = ( [0, ], – винеровский процесс, обращенный по времени и начинающийся в точке ), перепишем (11.12) в эквивалентном виде:

( ) 0 ( ) + ( ) (, ) = E, 0 (0 ) ( ), (11.13) Глава 11. Скачкообразные и диффузионные процессы где E, – условное математическое ожидание по траекториям процесса : =.

Закон больших чисел и центральная предельная теорема позволяют использовать эту формулу для численного решения задачи (11.12) методом Монте-Карло:

( ) 1 () () () ( ) () ( ) (, ) 0 (0 ) 0 + ( ), = () где { } – выборочные траектории винеровского процесса.

= 12.1. Методы преобразования случайных величин Глава 12. Метод Монте-Карло и алгоритм Метрополиса Методы преобразования случайных величин. Теория вероятностей и ме тод статистических испытаний. Метод Монте-Карло. Стохастическое представление решения уравнения Шредингера. Алгоритмы Метропо лиса, Глаубера и Хастингса для моделирования дискретных распреде лений. Условие детального баланса. Случай марковских цепей с непре рывным множеством состояний.

12.1. Методы преобразования случайных величин Практически любое распределение может быть получено путем преобразований равномерного распределения. Для преобразо вания случайной величины, имеющей равномерное распре деление на [0, 1], в случайную величину с заданным распре делением (), которое строго положительно во всех точках, удобно использовать метод обратной функции. Пусть (), : R [0, 1] = () = { } = – монотонная строго возрастающая функция, являющаяся ку мулятивной вероятностью. Тогда существует монотонно воз растающая обратная функция () = : [0, 1] R, которая может быть задана либо аналитически, либо численно. В этом случае = () имеет требуемое распределение. Действитель но, из определения равномерного распределения следует це почка равенств () { } = {() } = { ()} = 1 = ().

Пример 12.1. Описанное выше преобразование позволяет по лучить экспоненциально распределенную величину с распре делением { } =, полагая = 1 log 1. Нетрудно видеть, что случайные величины [0, 1] и 1 [0, 1] имеют одинаковые распределения и поэтому обратная функция () вычисляется следующим образом:

1 1 1 = ( ) = 1, log.

= () = log Глава 12. Метод Монте-Карло и алгоритм Метрополиса Значок в данном случае означает, что две случайные вели чины имеют одинаковые распределения.

Пример 12.2. Если аналитическое выражение обратной функ ции отсутствует, но доступна программа численной интерпо ляции функций по массиву {, ( )}, то, выбрав 1 и так, чтобы вероятности попадания на "хвосты" распределения { 1 } и { } были достаточно малы, можно вос пользоваться массивом { ( ), } для интерполяции обрат ной функции.

Результат реализации этого алгоритма для распределения с плотностью () = 1 cos 2 /2, 1 = 4, = 4, = 0. – нормировочная постоянная, приводится на рис. 12.1.



Pages:     | 1 | 2 || 4 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.