авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 | 4 |
-- [ Страница 1 ] --

А.М. Чеботарев

Введение в теорию

вероятностей

и математическую

статистику

для физиков

200

150

100

50

0

0 20 40 60 80 100 120

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное агентство по образованию

Московский физико-технический институт

(государственный университет)

А.М. Чеботарев ВВЕДЕНИЕ В ТЕОРИЮ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКУЮ СТАТИСТИКУ ДЛЯ ФИЗИКОВ Рекомендовано Учебно-методическим объединением высших учебных заведений Российской Федерации по образованию в области прикладных математики и физики в качестве учебного пособия МОСКВА 2008 Оглавление Оглавление Предисловие....................... Глава 1. Вероятностные пространства и основные распределения................... 1.1. Аксиоматика Колмогорова............. 1.2. Случайные величины................ 1.3. Вероятностные аспекты квантовой теории... 1.4. Тест некоммутативности: неравенство Белла.. Глава 2. Сходимость случайных величин и предельные теоремы............... 2.1. Закон больших чисел................ 2.2. Пуассоновский предел............... 2.3. Теорема Муавра–Лапласа............. 2.4. Предельные теоремы для экстремальных событий........................ Глава 3. Теорема Бохнера–Хинчина и центральная предельная теорема................ 3.1. Алгебра характеристических функций...... 3.2. Теорема Бохнера–Хинчина и ее следствия.... 3.3. Центральная предельная теорема......... 3.4. Центральная предельная теорема в форме Ляпунова и Линдеберга.............. 3.5. Безгранично делимые и устойчивые законы... 3.6. Предельные теоремы для распределений с тяжелыми хвостами................ Глава 4. Проблема моментов и теорема Бернштейна..................... 4.1. Свойство аналитичности характеристических функций....................... 4.2. Теорема Бернштейна................ 4.3. Кривые Пирсона.................. 4.4. Теорема Бернштейна и распределение Вигнера.

....................... Глава 5. Статистическая обработка экспериментальных данных........... 5.1. Задачи математической статистики....... 5.2. Распределение Стьюдента............. Оглавление 5.3. Интервальные оценки............... 5.4. Статистическая значимость и ошибки первого и второго рода............... 5.5. Гипотеза о средних значениях........... 5.6. Гипотеза о дисперсиях............... 5.7. Гипотеза об однородности............. Глава 6. Критерий Пирсона............. 6.1. Теорема Пирсона.................. 6.2. Примеры....................... 6.3. Гипотеза о независимости выборок........ Глава 7. Линейный метод наименьших квадратов 7.1. Геометрическое содержание метода наименьших квадратов............... 7.2. Псевдорешения и проекторы........... 7.3. Распределение коэффициентов МНК....... 7.4. Оценка порядка регрессии............. 7.5. Примеры аппроксимации экспериментальных данных........................ Глава 8. Критерий Колмогорова.......... 8.1. Теорема Гливенко–Кантелли........... 8.2. Распределение Колмогорова............ 8.3. 2 -критерии Крамера–фон Мизеса и Андерсона–Дарлинга............... 8.4. Фильтрация выбросов............... 8.5. Сравнение мощности критериев.......... Глава 9. Метод максимального правдоподобия. 9.1. Функция правдоподобия и ее свойства...... 9.2. Информация Фишера и неравенство Рао–Крамера.................... 9.3. Оптимальные статистики............. Глава 10. Марковские цепи и случайные блуждания...................... 10.1. Марковские цепи.................. 10.2. Случайное блуждание............... 10.3. Классификация состояний цепи Маркова.... 10.4. Теорема Перрона–Фробениуса........... Глава 11. Скачкообразные и диффузионные процессы....................... Оглавление 11.1. Пуассоновский процесс............... 11.2. Диффузионный предел случайных блужданий...................... 11.3. Свойства траекторий винеровского процесса.. Глава 12. Метод Монте-Карло и алгоритм Метрополиса.................... 12.1. Методы преобразования случайных величин.. 12.2. Стохастический метод решения уравнения Шредингера..................... 12.3. Алгоритм Метрополиса в дискретном случае........................ 12.4. Марковские цепи и эволюция с непрерывным временем............. 12.5. Алгоритм Хастингса для несимметричных цепей Заключение..................... Список литературы................ Предметный указатель.............. Предисловие Предисловие Теория вероятностей возникла в XVI–XVII веках как раздел математики, объясняющий причины выигрыша или проигры ша в азартных играх. Участие знаменитых ученых потребова лось для анализа игровых стратегий и объяснения ряда фактов отнюдь не очевидных с точки зрения здравого смысла. Вероят ностные методы описания окружающей реальности остаются актуальными и сейчас, более того, сложность рассматривае мых систем достигла планетарного масштаба. Стохастические методы, возникшие как инструмент анализа игры в кости, ис пользуются для учета влияния случайных факторов на дина мику глобальных процессов.

Какова же в настоящее время роль теории вероятностей в точных науках? Во-первых, вероятностные методы предостав ляют адекватный инструмент обработки результатов экспери ментов, используемых для проверки научных гипотез, посколь ку новые результаты, как правило, извлекаются из экспери ментальных данных, полученных на пределе технических воз можностей измерительной аппаратуры. Такие данные содер жат шумы приборов, неточности в описании условий экспери мента и другие плохо контролируемые факторы. Во-вторых, существуют явления, такие как тепловые шумы, квантовые флуктуации и пр., случайные по своей природе, или турбу лентность, полное детерминистическое описание которой прак тически невозможно. Наличие тепловых или квантовых шумов ограничивает пропускную способность каналов связи и произ водительность микропроцессоров, а принцип неопределенности Гейзенберга ограничивает точность одновременного измерения некоммутирующих наблюдаемых. В-третьих, со случайностью можно не только бороться, ее можно использовать, поскольку ряд физических величин выражается в виде математического ожидания функционалов по вероятностным мерам. Для вы числения таких величин используются методы статистического моделирования – алгоритмы Метрополиса и Хастингса.

Предисловие Перечисленные области применения вероятностных методов в физических задачах отражены в настоящем учебном посо бии, состоящем из двух пар связанных между собой разделов теории вероятностей и математической статистики: первая па ра – основные понятия теории вероятностей и статистические методы проверки гипотез, вторая пара – марковские цепи и методы статистического моделирования, включая вычисление континуальных интегралов и статистических сумм для систем с парным взаимодействием.

Теоретический материал иллюстрируется примерами чис ленного решения задач с помощью системы аналитических вы числений Mathematica, освоение которых полезно для студен тов и аспирантов, изучающих вероятностные методы в физи ке. Мы знакомим читателя с применениями критериев Пир сона, Стьюдента, Фишера, Колмогорова и Смирнова для про верки статистических гипотез и определения параметров мето дом наименьших квадратов. Во второй части курса рассмат риваются эргодические свойства случайных процессов, методы моделирования случайных блужданий и броуновского движе ния, а также численные методы Монте-Карло. В первую оче редь здесь излагаются способы получения и преобразования случайных величин и обсуждаются различные критерии каче ства датчиков псевдослучайных чисел. Целью курса является объединение теоретических и вычислительных возможностей теории вероятностей в компактной и связанной форме.

С точки зрения автора, одной из наиболее удачной книг по теории вероятностей и математической статистике для физи ков является монография Д. Хадсона “Статистика для физи ков” [1], написанная в теперь уже далеком 1964 г. и переведен ная на русский язык в 1967 году. Ее отличительными чертами являются компактность и простота изложения, сопровождае мые примерами анализа статистических данных и математи ческими выкладками, достаточным для понимания сути дела.

Фундаментальным дополнением, не утратившим актуальности Предисловие и по сей день, является двухтомник В. Феллера “Введение в теорию вероятностей и ее приложения” [2]. Русский перевод был сделан известнейшими специалистами Р.Л. Добрушиным, С.А. Молчановым и А.А. Юшкевичем под редакцией Е.Б. Дын кина и опубликован в 1967 году — всего через год после выхо да английского издания. В отличие от большинства “толстых” монографий по математике, двухтомник Феллера написан для читателя — его можно изучать, начиная с любой главы. Кроме того, оба тома снабжены впечатляющим количеством нетриви альных примеров, многие из которых взяты из научных публи каций известных авторов. Среди недавно изданных моногра фий весьма интересна книга М.Б. Лагутина “Наглядная мате матическая статистика” [3], автору которой удалось изложить важные результаты статистики в увлекательной форме без по тери глубины и строгости.

При написании текста настоящего учебного пособия мы по пытались соединить в нем достоинства упомянутых книг — краткость, наличие доказательств и поясняющих примеров, воз можность независимого прочтения основных разделов. Новое обстоятельство, возникшее за годы, прошедшие с момента вы хода книг Хадсона и Феллера, связано с распространением пер сональной вычислительной техники, но примеров удачного сов мещения теорем и программ, по-видимому, до настоящего вре мени не существует, хотя существует большое число программ ных ресурсов, доступных в интернете (см. random.mat.sbg.ac.at, www.gnu.org, gams.nist.gov и др.).

При работе над рукописью автору были весьма полезны со стоявшиеся ранее беседы и обсуждения математических вопро сов с В. Богачевым, А. Булинским, Н. Вабищевичем и А. Собо левским. Автор выражает им свою глубокую благодарность.

Январь 2009 А.М. Чеботарев 1.1. Аксиоматика Колмогорова Глава 1. Вероятностные пространства и основные распределения Вероятностное пространство. Несовместные и независимые события.

Условная вероятность. Формула Байеса. Случайные величины, их сред ние значения, дисперсии и моменты высших порядков. Распределение функции от случайной величины. Характеристические и производя щие функции случайных величин. Корреляционные и ковариационные функции. Биномиальное, пуассоновское и нормальное распределение.

Гамма-распределение. Вероятностные аспекты квантовой теории. Нера венство Белла как тест некоммутативности для эмпирических распреде лений.

1.1. Аксиоматика Колмогорова Современная теория вероятностей использует конструкцию ве роятностного пространства, принадлежащую А.Н. Колмого рову (1933 г.). Эта конструкция, основанная на теории ин теграла Лебега, аксиоматизирует интуитивное представление о случайных событиях, появление которых невозможно пред сказать наверняка, но можно оценить относительные частоты возможных исходов. Математическая теория, развитая на ос нове колмогоровской аксиоматики, нашла применения во всех отраслях знаний и практической деятельности. В настоящем пособии излагаются вероятностные методы проверки гипотез и обработки экспериментальных данных, статистическое моде лирование физических процессов и некоторые некоммутатив ные обобщения.

Вероятностное пространство – это тройка (,, ), состоя щая из пространства элементарных событий, -алгебры, содержащей подмножества множества, и счетно-аддитивной вероятностной меры, удовлетворяющей условиям : [0, 1], () = 1, () = 0.

Точки называются элементарными событиями, а эле менты -алгебры называются событиями.

В отличие от алгебры, -алгебра множеств замкнута от носительно счетного числа операций объединения и пересече ния. Вместе с каждым множеством как алгебра, так и Глава 1. Вероятностные пространства и распределения алгебра, содержат его дополнение (от англ. complement) =. Более точно -алгебры конструируются как ре зультат применения описанных операций объединения, пере сечения и дополнения к некоторому набору подмножеств мно жества, содержащему пустое множество и все множество.

При наличии топологии на наиболее распространенными яв ляются -алгебры, порождаемые всеми открытыми (или за мкнутыми) подмножествами.

В простейшем случае множество конечно или счетно, и все элементарные события имеют неотрицательные вероятно сти. В конечном случае есть множество всех подмножеств множества, а вероятностная мера конечно-аддитивна, то есть ( ), = при =. (1.1) ( ) = Используя обозначение || и || для числа элементов мно жеств, можно написать равенство || = || = 2||.

В общем случае множество замкнуто относительно опера ций дополнения и счетного числа объединений и пересечений, а вероятностная мера должна обладать свойством счетной ад дитивности. Для бесконечномерных множеств, являющихся векторными топологическими пространствами, соответствую щие вероятностные пространства устроены аналогичным об разом и являются стандартными объектами теории интеграла Лебега. В наиболее важных примерах, связанных с изучением случайных процессов, точками пространства являются тра ектории процессов, принадлежащие нормированным, метриче ским или топологическим функциональным пространствам.

В простейших нетривиальных случаях = R, = (R ) – борелевская -алгебра1, – вероятностная мера, задаваемая -алгебра (R ) Борелевская – это алгебра, относительно которой измеримы все непрерывные вещественные функции, то есть при любом R прообраз 1 () любого мно непрерывном отображении : R жества (R) принадлежит (R ). Она порождается дополнениями, счетными объединениями и пересечениями всех открытых (или замкну тых) подмножеств.

1.1. Аксиоматика Колмогорова некоторой плотностью вероятности () интегрируемой отно сительно стандартной меры Лебега на R :

(), 1 (R).

() = Примером вероятностной меры, не имеющей плотности из 1, является индикаторная функция множества (): пусть и () = () = {1, если ;

0, если }.

Очевидно, что () = 0, () = 1, ( ) = ( ) для непересекающихся множеств.

Операция объединения событий на множестве возможных исходов имеет смысл логической операции “ИЛИ”, а операция пересечения – операции “И”. События, соответствующие непе ресекающимся множествам, называются несовместными;

как было сказано выше, вероятность суммы несовместных событий равна сумме их вероятностей (см. (1.1)). Примерами несов местных событий являются обнаружение нескольких состоя ний одной классической частицы одновременно, обнаружение нескольких ферми-частиц в одном состоянии и т. п. По тем или иным причинам такие события не могут произойти одно временно.

Нетрудно видеть, что если { } – непересекающиеся собы тия, такие, что =, то любое событие можно пред ставить в виде суммы непересекающихся событий =, =. Поэтому справедлива следующая формула раз ложения вероятности события :

(1.2) ( ).

() = Упражнение 1.1. Пусть () — индикаторная функция мно жества. Используя свойство дистрибутивности ( ) = ()(), убедитесь по индукции, что имеют место Глава 1. Вероятностные пространства и распределения разложения () + · · · (1) 1 ··· (), () () = = =1, ( ) = ( ) + · · · (1) ( ).

( ) =1 = =1, События называются независимыми, если вероятность их пересечения равна произведению их вероятностей:

(1.3) ( ) = () ().

Примерами независимых событий являются результаты бро сания игральных костей, распределение координат или ско ростей невзаимодействующих частиц, а также любые случай ные события, между которыми либо нет никаких причинно следственных связей, либо информация об одном из событий недоступна или не может повлиять на исход другого.

Условной вероятностью события называется вероятность одновременного появления пары, состоящей из события и усло вия, перенормированная на вероятность условия:

( ) def – событие, – условие.

(|) =, () Это определение корректно, поскольку из следует, что (|) [0, 1] для любых,. Формула (| ) ( ), = (1.4) ( ) = () = называется формулой полной вероятности.

Если и независимы, то (|) = (). Из определения условной вероятности вытекают формула Байеса:

() (|) = (|) () 1.1. Аксиоматика Колмогорова и формула разложения вероятности совместного события в про изведение условных вероятностей:

( ) = (1 ) (2 |1 ) (3 |1 2 )... ( | 1 ).

=1 = Формула Байеса описывает изменение вероятности события, если произошло событие : вероятность () называет ся априорной, вероятность (|) называется апостериорной.

Если множество всех исходов состоит из объединения непе ресекающихся событий, то апостериорная вероятность со бытия при условии, что произошло событие, равна ( ) (| ) (1.5) ( |) =.

(| ) ( ) Нетрудно видеть, что в знаменателе – вероятность события.

Приведем физический пример, иллюстрирующий различие между (|) и (|)2.

Пример 1.1. Физический тест сложных молекул правильно различает молекулы и в 99% случаев, т.е. (|) = 0.99, (|) = 0.99, где и означают результат тестирования для соответствующей молекулы. Следовательно, вероятности оши бочных результатов равны (|) = (|) = 0.01. Эти циф ры характеризуют аппаратную надежность тестов. Предполо жим, что молекулы типов и в потоке частиц встречаются с вероятностями () = 0.95 и () = 0.05 соответственно.

Какова вероятность (|) того, что молекула действительно имеет тип при условии, что об этом свидетельствует резуль тат тестирования ?

В физической литературе смысл формулы Байеса комментируется Формула Байеса дает возможность получить ответ следующим образом:

на вопрос о том, как изменится постериорная вероятность (|) гипоте зы при данных наблюдения (т.е. оценка, полученная после изучения новых экспериментальных данных), при условии, что известны априор ная вероятность этой гипотезы () (т.е. оценка, полученная без учета данных ), вероятность получения данных () и условная вероятность (|) получить данные, если гипотеза выполнена. Формула Байеса имеет вид (|) = (|) ().

() Глава 1. Вероятностные пространства и распределения Согласно формуле Байеса (1.5), получаем следующий ответ:

() (|) () (|) = (|) = = () (|) () + (|) () 0.99 · 0. 0.839.

= 0.99 · 0.05 + 0.01 · 0. Здесь () вычислено по формуле полной вероятности (1.4).

Несмотря на высокие значения (|) = 0.99 и (|) = 0.99, тест дает верный результат только в четырех случаях из пяти.

Упражнение 1.2. Вычислите (|).

Ответ: (|) = 0.99947, т.е. результат теста ошибочен в случаях из 10 000.

Таким образом, условия эксперимента могут существенно по влиять на точность результатов.

Упражнение 1.3. Вычислите (|), (|).

Рассмотрим пример, показывающий, как с помощью разби ения событий на независимые и несовместные можно вычис лить вероятности достижения уровня.

Пример 1.2. Ансамбль невзаимодействующих частиц состоит из частиц, равномерно распределенных по объему 0. Веро ятность попадания одной частицы в часть объема 0 равна = /0. Какова вероятность того, что в серии из наблю дений число частиц, наблюдаемых в объеме, не превзойдет некоторого ?

Если частицы различимы (классическая система), то суще ствует = !/!( )! несовместных конфигураций, та ких, что частиц находится в объеме, а остальные – вне этого объема. Поскольку частицы движутся независимо, вероятность каждой такой конфигурации равна (1 ).

Следовательно, искомая вероятность равна () =, (1.6) = 1.

1.1. Аксиоматика Колмогорова Результат корректен, поскольку () = (+) = 1. Рас пределения (1.6) называются распределениями Бернулли и обо значаются (, ).

Если сосуд разбит на секций {1,... }, то вероятность попадания соответственно {1,..., } частиц в эти секции вычисляется аналогичным образом:

!

1..., (1.7) (1,..., ) = 1 !... ! где = 0, =, = 0. Распределения (1.7) на зываются полиномиальными распределениями. Формула (1.7) корректна, поскольку (1,..., ) = (1 + · · · + ) = 1.

= Наблюдение заданного максимального (или минимального) числа частиц в объеме 0 может произойти в любом из экспериментов, причем этот максимум может наблюдаться {0, 1,..., } раз,. События, состоящие в том, что максимум наблюдается или раз, несовместны. При фик сированном наблюдения максимумов в различные моменты времени в сериях из наблюдений также несовместны. Чис ло таких серий равно числу размещений неразличимых элементов на местах, то есть = !/!( )!.

С другой стороны, поскольку результаты наблюдений неза висимы, то, используя формулу (1.6), находим, что вероят ность наблюдать “ раз менее частиц” в объеме и “ раз ровно частиц” равна произведению ( 1 ) ) (, (, ) =, = где = 1. Теперь, суммируя по вероятности несовместных событий, найдем вероятность (, ) того, что максималь ное число частиц, отмеченное при -кратном наблюдении, не Глава 1. Вероятностные пространства и распределения превосходит, равна ) ( (, ) =, (, ) =.

=0 = Если равно, то (, ) = ( + ) = 1 для любого.

Пример 1.3. Отрицательное биномиальное распределение оп ределяется как вероятность успехов и неудач в серии из + независимых испытаний при условии, что фиксирова но, последнее испытание успешно, а вероятность успеха равна (0, 1). В этом случае (, ) :, = +1 (1 ), {0, 1,... } Название этого распределения объясняется тем, что в данном случае алгебраической основой формулы полной вероятности =0, = 1 является доказываемая по индукции биноми альная формула с отрицательным показателем:

1 +1, = 1, = (1 ) = проверяемая с помощью тождества +1 = +, так = же доказываемого по индукции с учетом известного комбина торного соотношения = 1 + 1.

1.2. Случайные величины Случайной величиной на вероятностном пространстве (,, ) со значениями в измеримом3 пространстве (, ) называется измеримое отображение :. Случайная величина генерирует вероятностную меру на : () = ( 1 ()), со поставляя событиям из их прообразы в.

Измеримым пространством называется пара, состоящая из множе -алгебры его подмножеств. Прообразом любого множества ства и при измеримом отображении : (, ) (, ) является множество 1 ().

1.2. Случайные величины Если заданы независимые случайные величины, с веро ятностными мерами,, принимающие значения в вектор ном пространстве4, то вероятностная мера их суммы определя ется как сумма по несовместным событиям { }, =, произведений вероятностей независимых событий { }, { }, в результате которых сумма + принадлежит :

( ) (). (1.8) ( ) () = + () = Если распределения и имеют плотности, то ( ) () = ( ) ().

+ () = В случае действительных случайных величин аналогичная формула справедлива для распределения произведения слу чайных величин. Несовместными событиями являются те же, а независимыми – { }, { /}.

{ }, R = Для всех таких событий, поэтому (1.9) · () = (/) () = (/) ().

R R Если вероятностные меры имеют плотности, то плотность про изведения равна () (/) 1.

· () = (/) () = R R Если = R и вероятностная мера имеет плотность отно сительно стандартной меры Лебега и отображение : R R однозначно, то в точке = 1 () элемент “объема” вычисля ется по формуле = | ()| = | ( 1 ())|, = | ( 1 ())| Напомним, что в векторном пространстве определены линейные опе и, то + состоит рации с его элементами. В частности, если +,.

из всех элементов вида Глава 1. Вероятностные пространства и распределения и входит в формулу замены меры ( 1 ())( 1 ()) (1.10) () () =, | ( 1 ())| R где = (), – образ множества = R, а () – ограничен ная измеримая функция.

B A 2 0 2 4 6 Рис. 1.1. Для функции, изображенной на графике, 1 = (, 0], 2 = (0, ], 3 = (, ), 1 = (, 0], 2 = (, 0], 3 = (, ) Для немонотонных функций под знаком интеграла стоит сумма по прообразам точки, то есть по () : ( ()) = def. Более точно, пусть R =, причем сужение | = является однозначной функцией :, :, как показано на рис. 1.1.). Тогда ( ()) (1.11) () () = ( ()).

| ( ())| = Пример 1.4. Пусть = 2. Тогда ± () = ±, = и поэтому ( ) ( )() = () ( ) + ( ).

R 1.2. Случайные величины Рассмотрим важный частный случай. Вычислим распре деление () случайной величины = 2, если величина имеет распределение () = 1 /2, называемое стан дартным нормальным распределением. Имеем () = 1/21 /2, (1.12) R+.

Это частный случай так называемого гамма-распределения, име ющего плотность 1 /, (1.13), () = () так что () = 1,2 (), где – гамма-функция.

Напомним определение гамма-функции и ее свойства:

1, ( + 1) = (), (1/2) =.

() = Теперь нетрудно видеть, что распределение (1.12) случайной величины 2 нормировано:

1 1 (1/2) 1/2 / 1/2 = = = 1.

0 2 Для случайных величин, принимающих значения в вектор ных пространствах, определено понятие математического ожи дания. Интеграл случайной величины по вероятност ной мере () называется математическим ожиданием, или средним значением, и обозначается E = () (от англ.

expectation). Эта операция – линейная, поэтому математиче ское ожидание суммы случайных величин равна сумме мате матических ожиданий: E( + ) = E + E.

Математическое ожидание произведения абсолютно инте грируемых функций независимых случайных величин равно Глава 1. Вероятностные пространства и распределения произведению математических ожиданий. Действительно, из условия независимости (1.3) имеем E () () = () () ({ } { }) = (1.14) = () () () () = () () = E () E().

() () = Упражнение 1.4. Пусть и – независимые действитель ные случайные величины с плотностями распределения () и (). Вычислите плотность вероятности случайной величины = +, если заданы, R+. Обобщить результат на многомерный случай для обратимых матриц и.

Упражнение 1.5. Пусть = { } R, где – незави симые случайные величины со стандартным нормальным рас пределением. Вычислите распределение случайной величины = ||2 R+.

Упражнение 1.6. Пусть = { } def, где – неза 1= = висимые дискретные случайные величины с распределениями, = 1. В этом случае множество играет, :

роль множества значений случайной величины, множество = {1,..., } = является множеством исходов = случайной величины, и () =, = – вероятность события =. Покажите, что функ = def ция = ln, называемая энтропией Шеннона случайной величины =, обладает свойством аддитив = ности:

(1.15) =.

1.2. Случайные величины Упражнение 1.7. Пусть = – дополнение множе ства,, R, и – действительные случайные величины.

Проверьте соотношения ( ) ( ), ( ) ( ), ( ) = E (), ( ) = ( ), () ( ) + ().

Дисперсией случайной величины называется величина, ха рактеризующая отклонение от среднего значения = E| E|2 = E 2 |E|2.

Нетрудно видеть, что сдвиг случайной величины на константу не меняет дисперсии. Случайная величина = E имеет нулевое среднее и называется скомпенсированной.

Вычисление дисперсии – нелинейная операция, но диспер сия суммы независимых случайных величин равна сумме их дисперсий. Для доказательства этого факта достаточно рас смотреть скомпенсированные независимые случайные величи ны и и воспользоваться тем, что E = E E = 0 в силу независимости и равенства нулю средних значений:

+ = E||2 + E||2 + 2Re E E = E()2 + E()2 = +.

2 2 Для действительных или комплексных случайных величин и, имеющих конечные средние и дисперсии, величина Cov (, ) = E( E)( E) = E E E называется ковариацией случайных величин и, а ковариа ция, нормированная на дисперсию Cor (, ) = Cov (, ), Глава 1. Вероятностные пространства и распределения называется корреляционной функцией. Если и независимы, то Cov (, ) = Cor (, ) = 0. Поэтому обе функции характе ризуют степень зависимости случайных величин. Если и – многомерные случайные величины, то обычные произведения следует заменить на скалярные. Величина Cor (, ) называет ся автокорреляцией случайной величины.

Для многомерных случайных величин, принимающих зна чения в R, аналогичным образом определяется ковариацион ная матрица Cov (, ) с элементами Cov (, ), = E( E )( E ) = E E E и связанные с ней матрицы ковариации и автокорреляции. Лег ко видеть, что матрица автокорреляций всегда неотрицательно определена. Действительно, в случае E = 0 имеем 2 (, Cor (, )) = E (, ) (, ) = E |(, )|2 0 R.

В общем случае правая часть равна E |(, E)|2 0.

Корреляция нормирована на дисперсию и не зависит от сред него значения, поэтому она обладает свойством (1.16) | Re Cor (, )| 1.

Действительно, для случайных величин и с нулевым сред ним и единичной дисперсией имеем 0 E| ± |2 = 2 ± 2Re E * = 2(1 ± Re Cor (, )).

Отсюда следует оценка (1.16).

Как следствие этого свойства для действительных случай ных величин – функция (, ), заданная соотношением E E 2 def (1.17) (, ) = E = 2(1 Cor (, )), 1.2. Случайные величины неотрицательна и интерпретируется как полуметрика5 на мно жестве случайных величин с конечными средним и дисперсией, принимающих значения не только в евклидовом, но и в любом гильбертовом пространстве. На множестве случайных вели чин с нулевым средним и единичной дисперсией эта функция обладает всеми свойствами метрики.

Упражнение 1.8. Убедитесь, что полуметрика (, ) не зависит от средних значений и масштабного преобразования случайных величин (то есть (, + ) = 0 для любых, ) и проверить неравенство треугольника (, ) + (, ) (, ), если E = E = E = 0, = = = 1.

2 2 Упражнение 1.9. Покажите, что корреляционная функция случайных величин и, связанных линейным соотношением = +, равна Cor (, ) = /||.

В то же время, если случайная величина имеет распре деление симметричное относительно точки нуль, то таким же свойством обладает и любая ее нечетная степень. Поэтому E = E 2+1 = 0, и для пары, = 2 имеем Cov (, 2 ) = E 3 E E 2 = 0, Cor (, 2 ) = 0, несмотря на то, что в данном случае связь между и неслу чайна. Таким образом, равенство нулю корреляционной функ ции не является достаточным условием независимости.

Упражнение 1.10. Пусть и – случайные величины со значениями в гильбертовом пространстве. Показать, что справедливо неравенство Коши–Буняковского–Шварца:

(1.18) Re E (, ) E ||||2 E ||||2.

В отличие от метрики, полуметрика не обеспечивает совпадение точек (, ) = 0.

и как обязательное следствие равенства Глава 1. Вероятностные пространства и распределения Вывести отсюда неравенство для ковариации и :

) (1.19) Re Cov(, ) = Re E (, ) (E E ) D D, ( где D, D – дисперсии случайных величин.

Указание. Рассмотрите необходимое условие отсутствия нулей квадратичной функции () = E || ||2 0 при условии, что = 0 при любом R (то есть и не являются линейно зависимыми).

Упражнение 1.11. Покажите, что функция распределения максимума среди независимых одинаково распределенных величин = max{1,..., } имеет вид * * () 1 () = 1 (), (1.20) ( ) = def где () = ( ). Вычислить среднее значение по это- * му распределению. Проделать аналогичные вычисления для * = min{1,..., } и убедиться, что () 1 () = 1 (). (1.21) (* ) = Функция, стоящая под знаком интеграла, является плотностью этого распределения, () = 1 ().

Пусть – действительная или комплекснозначная случай ная величина с вероятностной мерой. Если интегралы def || () = E|| = R существуют, они называются абсолютными моментами степе ни случайной величины. В этом случае определены также def моменты = R () = E.

Важной характеристикой случайной величины является ее характеристическая функция () = E, R, которая обладает следующими свойствами:

1.2. Случайные величины 1) (0) = 1, | ()| 1, () – непрерывная функция;

2) для любого набора вещественных чисел { } матрица с коэффициентами = ( ) неотрицательно опре делена, то есть ( ) 0, C;

, 3) моменты случайной величины выражаются через ее про () изводные в точке 0: = () (0);

4) характеристическая функция суммы независимых случай ных величин равна произведению их характеристических функций.

Далее будет показано, что cвойства 1 и 2, рассматриваемые как условия, являются необходимыми и достаточными для то го, чтобы функция () являлась характеристической функций некоторой действительной случайной величины. Более того, распределение вероятностей случайных величин может быть реконструировано по ее характеристической функции.

Пример 1.5. Нетрудно видеть, что характеристическая функ ция отрицательного биномиального распределения равна ) ( () = E =.

1 (1 ) Отсюда нетрудно вычислить ее момент и дисперсию:

1 2 = =,.

Отрицательное биномиальное распределение имеет еще од ну интерпретацию – это целочисленное пуассоновское распре деление () : () = со случайным параметром, !

Глава 1. Вероятностные пространства и распределения имеющим гамма-распределение (, /(1 )). Действитель но, в этом случае 1 /(1/1) = +1 (1 ).

= ( 1)!(1/ 1) !

Таблица 5.2 (см. ниже) содержит характеристические функ ции, моменты и дисперсии биномиального [(, )], отрица тельного биномиального [(, )], пуассоновского [()], экс поненциального [()], гамма [(, )], нормального [ (, )] распределений и распределений Коши [(, )] и Леви [()].

Свойство 4 в ряде случаев удобно для вычисления распре делений сумм независимых случайных величин. Например, как видно из таблицы 1.1, характеристическая функция сум мы независимых нормально распределенных величин с нуле вым средним и дисперсиями равна exp{ 1 2 }. Отсю да следует, что плотность распределения вероятностей суммы независимых нормальных величин является нормальным рас пределением и имеет среднее, равное сумме средних значений случайных слагаемых, и дисперсию, равную сумме дисперсий.

Пример 1.6. Сумма независимых случайных величин, име ющих гамма-распределения с одинаковыми и различными, имеет характеристическую функцию (1 ). Сле довательно, сумма имеет распределение, с =.

В частности, если = 1/2 (см. пример 3), то = /2.

Упражнение 1.12. Вычислите характеристическую функ цию нормального распределения со средним и дисперсией и получить формулу плотности вероятности для суммы неза висимых величин с такими распределениями.

Упражнение 1.13. Покажите, что выборочное среднее неза висимых случайных величин, имеющих распределение Коши, также имеет распределение Коши. Этот факт означает, что в данном случае усреднение не улучшает локализацию выбороч ного среднего относительно точки = 0.

1.2. Случайные величины Т а б л и ц a 1. Распределение () () {} ( + ) (, ) ( ) {} +1 (, ) 0 1 ( 1) {} () ! R+ () 1 / R+ (1 ) (, ) () 2 () /2 R /2+ (, ) 2 R ||+ (, ) (2 +()2 ) /2 || 2 (1 || ) R+ () Кумулянтами случайной величины называются коэффи циенты разложения логарифма характеристической функ ции в ряд Тейлора:

() () { } : ln () = ln E = = ln.

! !

Нетрудно видеть, что кумулянты суммы независимых случай ных величин равны суммам кумулянтов того же порядка:

( ) (+) { ( + )} : ln + () = ln E = ln E E = ) () ( = ln E + ln E = () + ().

!

Упражнение 1.14. Покажите, что моменты и кумулянты K связаны рекуррентным соотношением +1 = +1 +1.

= Глава 1. Вероятностные пространства и распределения, 8, 12, Bi 100,p, p 0.2, 0.5, 0. 0. 0. 0. 0. 0. 0.06 0. 0. 0. 0. 0. 0. 0.00 0. 0 20 40 60 80 100 0 5 10 15 20 25 2 n, n N 0,2, 2 2, 4, 8, 0.5, 1, 0.8 0. 0. 0. 0. 0. 0. 0. 0. 0.0 0. 4 2 0 2 4 0 5 10 15 Рис. 1.2. Распределения Бернулли, Пуассона, нормальное и гамма распределение для различных значений параметров Упражнение 1.15. Вычислите кумулянты нормального, пуассоновского, биномиального и отрицательного биномиаль ного распределений.

1.3. Вероятностные аспекты квантовой теории С точки зрения квантовой теории, наблюдаемые и состояния – это самосопряженные операторы и неотрицательные опера торы с единичным следом, действующие в некотором сепара бельном гильбертовом пространстве. Средним значением наблюдаемой в состоянии является след def = Tr = (, ), 1.3. Вероятностные аспекты квантовой теории вычисляемый с помощью произвольной полной ортонормиро ванной системы { },, которая задает разложение еди ничного оператора: = | | (), () – алгебра ограниченных операторов.

Значение следа не зависит от выбора базиса6. В случае, если спектр наблюдаемой является дискретным, среднее значение выражается наблюдаемой через распределение вероятностей def = (, ) = Tr, def порождаемое состоянием и проекторами = | | на собственные векторы наблюдаемой :

= E, = (, ) = (, ) = | |, | | = Tr = 1.

= = Tr Таким образом, в квантовой теории роль множества значений случайных величин играет множество собственных значений наблюдаемых (точнее, их спектры), а вероятностные меры воз никают как билинейные функционалы от спектральных разло жений и состояний:

def Tr (), (1.22) = (), () =, () = Sp где () – семейство спектральных проекторов оператора, а соответствующая ему вероятностная мера равна, ().

Эта формула связывает с каждой тройкой (,, ), состо ящей из гильбертова пространства, семейства проекторов : B(R) () и неотрицательного оператора с единичным следом, вероятностное пространство (R, B(R), ), где () – алгебра ограниченных операторов, снабженная сильной топо логией, B(R) – -алгебра измеримых множеств, – вероятност ная мера (1.22). Обычно оператор характеризует состояние Докажите этот факт с помощью разложения единицы.

Глава 1. Вероятностные пространства и распределения квантовой системы (и ее окружения), а семейство проекторов описывает наблюдаемую величину (и процедуру наблюдения).

Например, наблюдаемой величиной может быть число частиц (оператор числа частиц), спин которых имеет заданную ори ентацию, а состояние – суперпозицией = |1 + 2 1 + 2 | или смесью = 1 |1 1 | + 2 |2 2 | состояний с различной ориентацией спина.

Отличие квантовых случайных величин от классических со стоит в том, что в квантовом случае случайные величины не коммутируют, а измерение, как правило, изменяет состоя ния наблюдаемых. Алгебраические правила квантовой теории вероятностей отражают два факта: 1) физические поля удо влетворяют принципу линейной суперпозиции, т. е. их можно складывать и вычитать, 2) процедура измерения связана с пе редачей энергии поля измерительному прибору, причем плот ность энергии пропорциональна квадрату поля. Именно поэто му средние значения наблюдаемых квадратичны относительно аддитивных волновых функций, описывающих эволюцию по лей и удовлетворяющих линейным уравнениям и принципу су перпозиции.

Свойство сепарабельности гильбертова пространства поз воляет вкладывать его в наиболее простые стандартные про странства 2 и 2 (R), используя естественный изоморфизм меж ду разложениями элементов гильбертовых пространств по пол ным ортонормированным системам:

= = {0, 1... } 2, = {0, 1... }, (, ) = = = (, )2, где, C, { } – базис в, = {0,..., 0, 1, 0,... } – 1.3. Вероятностные аспекты квантовой теории базис в 2, () = () 2 (R), = () = () 2 (R), = (, ) = = ()() = (, )2, R где () = 1/4 (2 !)1/2 () – базис в 2 (R), – полиномы Эрмита.

|| Пример 1.7. Вектору = 2 {1,,,,... } 2 от ( 2! 3! ) 1 2 2 вечает функция () = 1/4 2 ( 2) +|| 2 (R), квадрат модуля которой нормирован и задает гауссово распре деление. Вектор называется когерентным или экспоненци альным. Дисперсия числа, характеризующего уровень энер гии или число фотонов системы в когерентном состоянии, совпадает с его средним и в случае ||2 = равна :

|| =||) = ||2 =, !

= ||2 (1.23) ( 1) =||) = ||4 = 2, ( 1) !

= 2 = 2 + 2 =.

Состояние (т.е. неотрицательный оператор с единичным следом) = | | (2 ) является проектором на вектор. Такие состояния называются чистыми. Состоянию со ответствует интегральный оператор, действующий в 2 (R), с ядром 2 + 1 (, ) = 2 + 2(+)2(Re ), (1.24) Глава 1. Вероятностные пространства и распределения а так называемому гиббсовскому температурному состоянию 1 = (1 ) || (2 ), = которое является суперпозицией чистых состояний и называ ется смешанным, соответствует состояние в (2 (R)) с ин тегральным ядром 2 + 1 2tanh 1 + cosh (1.25) (2 (R)).

(, ) = tanh Приведенные выше формулы можно вывести, используя про изводящее выражение для полиномов Эрмита:

2 () = (1) и тождество / 1 2 4 2 1/ 2 + = = 2 ! 2 R (2 + 2 21/ ) 1 )1/ = 1 ( 12/.

Упражнение 1.16. Докажите формулы (1.24), (1.25) само стоятельно и вычислите дисперсию энергии = в пред ставлении 2, считая, что = Tr {|| }. Как действует эта наблюдаемая в 2 ?

1.4. Тест некоммутативности: неравенство Белла Ответ на вопрос о том, можно ли по результатам наблюдений установить коммутируют или нет случайные величины, в об щем случае достаточно сложен. Однако существуют примеры состояний и наблюдаемых, нарушающее необходимое условие коммутативности – это неравенство Белла. В коммутативном случае все наблюдаемые имеют общее семейство спектральных проекторов и их средние значения удовлетворяют неравенству 1.4. Тест некоммутативности: неравенство Белла Белла, а в некоммутативном случае неравенство Белла может быть нарушено.

Нетрудно видеть, что если 1, 2, 1, 2 – случайные вели чины, принимающие два значения в {1, 1}, то (1.26) E (1 + 2 )1 + (1 2 )2 2, ( ) ибо если 1 +2 = ±2, то 1 2 = 0;

наоборот, если 1 +2 = 0, то 1 2 = ±2.

Пусть = C2 C2, выберем наблюдаемые 1 =, 2 =, 1 =, 2 = и состояние = || такие, что = 2 (|+ | | |+ ), ( ) ( ) 11 1 = =,, 2 1 1 1 ( ) ( ) ( ) 01 1 0 =, =, ± =.

1 ± 10 Аналогия с классическим случаем состоит в том, что собствен ные значения операторов, равны ±1 и ||||C2 = 1. Пря мые вычисления дают следующий результат:

)def E (1 + 2 )1 + (1 2 )2 = Tr (1 + 2 )1 + ( ( ) +(1 2 )2 = 2 2, что противоречит классической оценке (1.26). Предлагаем чи тателю провести вычисления самостоятельно. Этот факт име ет важное значение – он указывает на принципиальную невоз можность свести квантовую вероятность к классической.

Глава 2. Сходимость случайных величин Глава 2. Сходимость случайных величин и предельные теоремы Неравенство Чебышева и закон больших чисел. Сходимость биноми ального распределения к пуассоновскому и нормальному. Сходимость по вероятности и по распределению. Теорема Муавра–Лапласа. Пре дельная теорема для экстремальных событий. Распределения Вейбулла, Гумбеля и Фишера.

2.1. Закон больших чисел Для действительных случайных величин, имеющих конечную дисперсию, доказательство закона больших чисел использует неравенство Чебышева, утверждающее, что (2.1) (| | ), где и 2 – среднее значение и дисперсия действительной слу чайной величины. Действительно, из определений вероят ностной меры и дисперсии следует, что ( )2 () ||/1 () E (| | ) = = 2, 2 где () – индикаторная функция множества.

Аналогично можно доказать более общее неравенство (2.2) (|| ) E (||) () для любой монотонной неубывающей функции : R+ R+, а заменив модуль на норму, нетрудно распространить неравен ство (2.1) на случайные величины, принимающие значения в векторном нормированном пространстве.

Пусть – случайная величина, имеющая среднее значение E = и дисперсию 2. Рассмотрим последовательность ее независимых реализаций { }. Сумма = имеет 1 = среднее и дисперсию 2, поэтому из неравенства (2.1) следует (| | ) 2 2.

2.1. Закон больших чисел Пусть = – выборочное среднее значение случайной величины по выборке объема. Для любого сколь угодно малого 0, полагая = в неравенстве Чебышева, полу чаем закон больших чисел:

0 при, (2.3) (| | ) утверждающий, что последовательность выборочных средних = при сходится к некоторой неслучайной величине = E.

Такой вид сходимости является частным случаем сходимо сти по вероятности. В общем случае последовательность слу чайных величин сходится по вероятности к случайной (или неслучайной) величине, если для любого (| | ) 0,.

Сходимость по вероятности обозначается. Сходимость почти наверное (синонимы: почти всюду, с вероятностью ) = 0 является, очевидно, более сильной1.

единица ) ( Известно достаточное условие, при котором из сходимости по вероятности следует сходимость почти всюду ([4], c. 271).

Теорема 2.1. Если (| | ) для любого 0, то ) = 0. Если { } такое множество событий, ( = что ( ), то не существует такого события, ( ) 0, которое принадлежит бесконечно многим2.

Существуют примеры последовательностей, которые сходятся по ве роятности, но не сходятся почти наверное (см. [4], гл. 2, §10, п. 4). Пусть = [0, 1], () = mes – мера Лебега, = ( 1)/, = [, +1 ], () = (). Тогда последовательность случайных величин def 1 1 2 1 2 3 {1, 2, 3,... } = {1, 2, 2, 3, 3, 3,... } (в (+1)/2 = ),частности, сходится по вероятности к нулю, так как ( ) 1/ 2, но сходи 0) = ( ) = 1.

мость почти наверное отсутствует, поскольку ( = Событие, принадлежащее бесконечно многим, можно записать в виде =.

Глава 2. Сходимость случайных величин Доказательство. Действительно, поскольку из сходимости ря да ( ) следует, что ( ) 0 при, то ( ) ( ) ( ) 0.

Поэтому для = { : | () ()| } имеем ( ) = ( ) ( ) = 0 = 0.

Это утверждение называется теоремой Бореля–Кантелли.

Если дисперсия 2 бесконечна, доказательство закона боль ших чисел использует метод усечения (см. [2], гл. Х, §2).

Теорема 2.2. Пусть – выборочные значения действитель ной случайной величины, имеющей конечный абсолютный мо мент 1. Тогда (| E | ) 0 при.

Доказательство. Рассмотрим доказательство закона больших чисел для случайных величин, множество значений которых дискретно. Предположим, что случайная величина прини мает значения { } с вероятностями и имеет конечный аб солютный момент = | |. Преобразуем случайную величину в сумму двух случайных величин = + с контролируемым ( ) и неконтролируемым максимумом ( ):

положим = 0, =, если | |, и = 0, =, если | |. Предполагается, что 0 может быть выбра но сколь угодно малым. Пусть –сумма случайных величин =1.

Случайные величины, и имеют конечные моменты =, = и =, причем диспер сия конечна:

E||2 | |.

| | В силу ограниченности абсолютного момента при больших значениях параметра усечения = () имеем (2.4) | |.

2.1. Закон больших чисел Используя неравенство Чебышева (2.3) для { }, получим ( ) 2 2. (2.5) = Нетрудно видеть, что для любых действительных случайных величин имеют место соотношения (|| ) = (||+ +), (||+|| ) (| +| ).

Теперь неравенство (2.4) позволяет обосновать погрешность выборочной оценки момента случайных величин { }, не име ющих конечной дисперсии, с помощью случайных величин { }:

( ) 2 = ( ) + = (2.6) ( ) + ( ) 2.

Поскольку = 1, то при достаточно больших имеем ( = 0) = ().

| | ( ) ( ) Поэтому { = 0}.

=1 = 0 = Пусть – событие | | 2 и – событие = 0.

Если происходит событие, то = ;

если происходит Глава 2. Сходимость случайных величин событие, то есть = 0, значение суммы = = ( + ) неконтролируемо. Поэтому из (2.5), (2.6) и неравенства () ( ) + ( ) следует, что при () выполнены неравенства ( ) 2 = () ( ) + ( ) = ( ) ( ) 2 + = 0 2 +.

= 1 Для любого фиксированного можно выбирать достаточно малое, такое, что правая часть последнего неравенства бу дет сколь угодно мала при всех достаточно больших. Сле довательно, последовательность выборочных средних при сходится к неслучайной величине по вероятности.

Закон больших чисел является простейшей и чрезвычайно важной статистической закономерностью. В широком смыс ле статистика – это наука о законах, которым подчиняются множества случайных величин, а в узком смысле статистика – это любая функция случайных эмпирических данных.

2.2. Пуассоновский предел Рассмотрим распределение вероятности появления небольшого числа редких событий. Пусть задано некоторое вероятностное пространство (,, ). Предположим, что число независимых испытаний и вероятность = () события таковы, что =. Вероятность того, что в серии из независимых 2.2. Пуассоновский предел испытаний событие произойдет раз, описывается биноми альным распределением:

( ) ( ) ! (1 ) = = !( )! ( ) ln 1 + 1 (2.7) ( ) =... = ! ) 1 ( ) ( ) ln ( ln = =1.

!

Используя разложение ln(1 + ) = + (3 ) для = / и = / соответственно, получим ( 2 ) ( ) ( ) ( ) ln 1 = + +, 1 ( ( 2 ) ) ln 1 =.

= При сделанных предположениях, подставляя в (2.7) найденные выше разложения логарифма, имеем ( + ( )) (2.8) () = 1 +.

! Таким образом, доказана первая часть следующей теоремы.

Теорема 2.3. В области (0, 1) ( (1)/2 ), ( (1+)/2 ) имеет место следующая оценка сходимости биномиального распределения к пуассоновскому:

( ) ( !

def (1 ) = 1 + ( ).

) () = !( )! !

Глава 2. Сходимость случайных величин Если – пуассоновская случайная величина со средним зна чением 1, то распределение нормированной случайной ве личины = в области { ( ), + ( )} аппрок симируется стандартным нормальным распределением:

( ( )) 1 2 1 = 2 1 + =.

, ! 2 0. 0. 0. 0.05 0. 0. 0. 0. 0. 0. 0. 0. 0.00 0. 0 50 100 150 200 0 50 100 150 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0 5 10 15 0 5 10 15 20 Рис. 2.1. Слева в верхнем ряду - распределение Пуассона (), = 40 (кружочки) и биномиальное распределение (, ), = 200, = 0.2 (точки). Справа – ошибка пуассоновской аппроксимации.


В нижнем ряду - нормальное распределение (, ) (непрерывная кривая слева) и распределение Пуассона (), = 10 и ошибка нор мальной аппроксимации (справа) Доказательство. Поскольку { ( ), + ( )}, то ( ) ( ) 1 = 1 +, = 1 +.

Поэтому из формулы Стирлинга и тейлоровского разложения 2.2. Пуассоновский предел + (3 ) вытекает цепочка равенств:

log(1 + ) = ( 1 ) 1 + ()+ log = = ! ( 1 ) 1 + ()+ + 1 log 1+ ( ) ( ) = = 2 ( 1 ) 1 + ()2 (1+( )) = 2 = ( ( )) ()2 = 1 + = 2 ( ( )) = 2 1 +.

2 Теорема доказана.

Пусть для определенности =, = const. Обозначим че рез последовательность случайных величин, имеющих бино миальное распределение () (см. (2.7)). О каком типе сходи мости случайных величин может идти речь в первой (и второй) части теоремы 2.3? Это сходимость по распределению к случай ной величине с пуассоновским распределением (). Для случайных величин с дискретным множеством значений схо димость по распределению означает поточечную сходимость кумулятивных вероятностей3 :

, если lim | ( ) ( )| = при каждом фиксированном R+. Действительно, посколь ку 2 при достаточно больших, то cumulative distribution function CDF или (англ.).

Глава 2. Сходимость случайных величин [] ( ) | ( ) ( )| = () () = 1 [ ] [ ] 2 ( + ) | () ()| ! =0 = ( [ 1 ]2 ) ( ) 2 0.

= ! = Замечание 2.1. Сходимость по распределению слабее сходи мости по вероятности: поскольку при всех реализуется одна из двух альтернатив, либо | | : либо | |, то ( ) ( ) = ( + ) ( ) ( + | |) ( ) = = ( + | |) 1 · (| | ) + (| | ) ( + ) (| | ) + ( + ), где первое слагаемое в правой части сходится к нулю в силу сходимости 0 по вероятности, а ( + ) так как это интеграл от вероятностной меры и { : + }.

Упражнение 2.1. Используя теорему 2.3 показать, что если () – ограниченная непрерывная функция и (, ), то ( ) 1 E = 1.

( + ), 2.3. Теорема Муавра–Лапласа 2.3. Теорема Муавра–Лапласа Сходимость биномиального распределения к нормальному бы ла установлена де Муавром примерно в 1718 г., а также спустя сто лет Лапласом. Этот факт, играющий важную роль в тео рии вероятности и математической статистике, получил назва ние теоремы Муавра–Лапласа.

В отличие от сходимости к пуассоновскому распределению при, имеющей место для малого числа исходов, рас сматриваемая ниже теорема Муавра–Лапласа описывает схо димость биномиального распределения к нормальному распре делению в окрестности среднего значения =, диаметр которой имеет порядок ( ). С точки зрения типа сходимо сти, это весьма важное утверждение также является теоремой о сходимости по распределению.

Теорема 2.4. Пусть = = (1) – нормированное от клонение от среднего, = – дискретный аналог меры Лебега. Тогда при [ ( 1/2 ), + ( 1/2 )] 2 ( (2.9) ) (, ) = =.

1 + ()), 2 Доказательство. Центральную роль в доказательстве теоремы Муавра–Лапласа играет формула Стирлинга для асимптотики гамма-функции (см. [2], гл. II, §12, задача 27):

1 1 = 2 + 2 + 12 +( ). (2.10) ( + 1) = Из определения вытекают следующие соотношения:

( ) + = =, ( ) + + 1 = =.

Глава 2. Сходимость случайных величин Параметр (0, 1) будем считать постоянной величиной и вос пользуемся оценкой (2.10) для доказательства (2.9). Используя выражение через, и, получим:

! (, ) = = !( )!

) ( ) + ( ) ( 1 + ( ) = = ( ) ( ) ) log +( ) log + ( 1 + ( ) = = ( ) ) 2 ( + ) 1 + ( 2 ( 1 )), =.

= ( ( 1 ))( 1 + 2 + Учитывая, что показатель экспоненты содержит сумму ( ) ( ) 1 1 1 1 + + + =+ =, 1 (1 ) получаем формулу, связывающую нормальное и биномиальное распределения:

( ( )) 2 2(1) 1 +, = (, ) =.

2(1 ) Теорема доказана.

Следствие 2.1. Если = (1), = 1, 2 при, то 2 1 1 ) 2 ( 1 + ( 2 ).

(, ) = 2 =1 2.4. Предельные теоремы для экстремальных событий.

0. 0. 0. 0. 0. 0. 0. 0. 0.02 0. 0. 0. 0 20 40 60 80 100 0 20 40 60 80 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0 50 100 150 0 50 100 150 Рис. 2.2. Распределение Бернулли и ошибка нормальной аппрокси мации для = 0.5, = 100, Будем считать, что принимает два значения {0, 1}. Вычис лим вероятность события | / | с помощью теоремы 2.4, учитывая, что = или / = / + :

(| / | ) = (|/ | ) = (|| ) = 1 2 ( 2 1 + ( 2 )) ) = при для любого 0. Утверждение о сходимости выборочного среднего / к среднему значению с веро ятностью (| / | ) 1 является законом больших чисел, доказанным ранее с помощью неравенства Чебышева.

Упражнение 2.2. Доказать, что при оценка (2.9) влечет сходимость по распределению случайных величин к стандартной нормальной случайной величине (0, 1).

Глава 2. Сходимость случайных величин 2.4. Предельные теоремы для экстремальных событий Если { } – независимые реализации д.с.в., имеющей функ def цию распределения () = ( ), то = max{1,..., } * имеет кумулятивную функцию распределения () = ( ) (см. (1.20)), так что в любой точке, где () 1, предельное распределение тривиально: () 0. Решения уравнений : 1 () =, = (1) можно рассматривать как ти пичные значения случайной величины, поскольку макси * мальное значение попадает в интервал при : (, ) с вероятностью, имеющей конечный предел ( (, )) = (1).

* Рассмотрим три класса распределений, характеризуемых по ведением распределения () на правом конце:

(i) lim (1 ()) =, R, (ii) lim (1 ()) =, R+, (iii) lim ( ) (1 ()) =, () = для некоторых, 0, R. В этом случае можно указать три соответствующих класса преобразований случайных вели чин, распределения которых сходятся к трем стандартным * распределениям. Следующая теорема описывает три способа нормировки, используемые в зависимости от класса распре * делений (i)–(iii).

2.4. Предельные теоремы для экстремальных событий.

Теорема 2.5.

def 1 (i) = log(), lim =, ( ) = *, R, * def, lim =, ( ) = (ii) =, 0, () def (iii) = () ( ), lim =, ( ) = *, 0.

() Доказательство. Поскольку + log() при, то ) ( ) ( 1 1 (+ log()) ( ) = + log = ( ).

= Первое утверждение доказано. Второе и третье доказываются аналогично. Например, ) ( ) ( 1/ ( ) = () + = () ) ( 1 ().

= () Распределения (i), (ii) и (iii) называются распределениями Гумбеля, Фреше и Вейбулла соответственно. Оказывается, что в классе -устойчивых распределений4 распределения Гум беля, Фреше и Вейбулла исчерпывают все возможные типы предельных распределений (см. [15], гл. 1, §§1.3–1.4).

Пример 2.1. Пусть () = 0 1+2 соответствует правому хвосту распределения Коши и = 1. Тогда ( ) 2 = lim (1 ()) = arctan =.

lim 2 Распределение () = ( ) называется -устойчивым (или -устойчивым), если для любого = 2, 3,... существуют постоянные 0 и R, такие, что ( + ) = () [15].

Глава 2. Сходимость случайных величин Поэтому нормированное на максимальное значение выборки из случайных величин, имеющих распределение Коши, схо дится к случайной величине, имеющей распределение Фреше:

( ) =.

max{1,..., }, Отметим, что скорость убывания плотности вероятности пре дельного распределения такая же, как и у распределения Ко ши, т.е. как (2 ).

Упражнение 2.3. Докажите, что предельные распределения (i)–(iii) являются -устойчивыми.

Упражнение 2.4. Плотность распределения максимального выборочного значения max = max { } случайной вели чины, равномерно распределенной на отрезке [, ], равна ) (см. (1.20)). Эта функция достига max () = ( ет максимума в точке =. Аналогичным образом выгля дит плотность распределения минимального выборочного зна ) чения: min () =. Вычислите средние значе ( ния max и min и убедитесь, что они являются асимптоти чески точными при, а = min 1 max и 1 = max 1 min – несмещенными оценками и, то 1 есть E = и E =.

Упражнение 2.5. Если случайная величина (0, 1) имеет равномерное распределение, то = tan( 1/2) R имеет распределение Коши с плотностью () = 1+2.

1 Упражнение 2.6. Докажите, что если случайная величина (0, 1) имеет равномерное распределение, то = ln ln ( ) 1/ имеет распределение Вейбула ( ) = на R.

Упражнение 2.7. Если случайная величина равномерно ) распределена на (0, 1), то = ln 1 имеет распределение ( Фреше ( ) = на R.

3.1. Алгебра характеристических функций Глава 3. Теорема Бохнера–Хинчина и центральная предельная теорема Положительная определенность характеристических функций и лемма Шура. Теорема Бохнера–Хинчина. Плотность и относительная ком пактность семейства мер. Теорема Прохорова. Центральная предельная теорема. ЦПТ в форме Ляпунова и Линдеберга. Распределения Леви.

Модель Хольцмарка.

3.1. Алгебра характеристических функций def Характеристическая функция () = E действительной случайной величины обладает следующими свойствами:

1) (0) = 1, |()| 1, 2) (R), то есть () – непрерывная функция1, 3), ( ) 0 для любых { } R, { } C, то есть квадратная матрица {( )} – положительно определена.

Очевидно, что произведение двух характеристических функ ций обладает свойствами 1–2. Оказывается, что произведение обладает и свойством 3. Этот факт можно объяснить следую щим образом. Распределение суммы независимых случайных величин является сверткой их распределений, а характеристи ческая функция свертки является произведением характери стических функций сомножителей. Действительно, для неза висимых действительных случайных величин, выполнены следующие два равенства:

(3.1) + () = ( ) (), R () ( ) () = + () = () () () = () ().

= R R () – равномерно Более точно, непрерывная функция, так как в силу теоремы Лебега о предельном переходе под знаком интеграла существует предел |( + )] ()| E| 1| 0 при 0. Поскольку E| 1|, не зависит от сходимость равномерна.

Глава 3. Теорема Бохнера–Хинчина и ЦПТ Поскольку левая часть свертки (3.1) является вероятностной мерой, ее характеристическая функция положительно опреде лена;

с другой стороны, эта характеристическая функция рав на произведению + () = () ().


Приведенное выше доказательство является косвенным: оно использует определение и свойства распределения суммы слу чайных величин. Чисто алгебраическую суть дела иллюстри рует следующее утверждение, называемое леммой Шура.

Лемма 3.1. Пусть = {, } и = {, } – две положи тельно определенные матрицы. Тогда матрица = {,, } также положительно определена2.

Доказательство. Неотрицательно определенную матрицу мож но представить в виде суммы проекторов на ее собственные векторы :

, 0, C, = где – положительные собственные значения матрицы, – ее собственные векторы (нормированные векторы-столбцы), черта означает комплексное-сопряжение, а верхний индекс – транспонирование. Таким образом, – вектор-строка с эле ментами, комплексно-сопряженными элементам, а – эрмитова матрица ранга 1, равная,1,1,1,2...,1,,2,2,2,2...,2, =.

............

,,,,2...,, Такое произведение называется тензорным и обозначается в математике и | | в физике.

.

Заметим, что матрица не является произведением матриц и Утверждение леммы можно усилить: если сомножители и – строго положительны, то матрица также строго положительна.

3.1. Алгебра характеристических функций Пусть – поэлементное произведение матриц и :

, =,,.

Необходимое и достаточное условие положительной определен ности матрицы имеет (, ) 0 для любого вектора вид C. Поскольку, =,,, то, (, ) (, ) 0, (, ) =,, =,, так как 0, и из положительной определенности матрицы следует, что,, (, ) (, ) 0 при каждом.

Из леммы Шура и определения характеристической функ ции как простое следствие вытекает Теорема 3.1. Характеристические функции образуют алгеб ру относительно поточечного умножения.

Упражнение 3.1. Показать, что если функция () положи тельно определена в том смысле, что, ( ) 0, то ( ) ( ) (0)2 и |()| (0) для любых,. В частности, если (0) = 1, то |()| 1.

Упражнение 3.2. Доказать, что если () – характеристиче ская функция, то 1 () = (()1), 0, 2 () = () также являются характеристическими функциями.

Проверка первых двух свойств характеристической функ ции (непрерывности в нуле и равенства (0) = 1) обычно не вызывает затруднений, по крайней мере, в конечномерном слу чае. Проверка третьего свойства – положительной определен ности – вообще говоря, нетривиальна. Рассмотрим схему дока зательства условия Пойа, достаточного для того, чтобы функ ция, удовлетворяющая этому условию, была положительно оп ределенной (см. [4], гл. II, §12).

Глава 3. Теорема Бохнера–Хинчина и ЦПТ Лемма 3.2. Функции вида () = max{0, 1 ||} и, () = (/ ),, 0, = – характеристические функции вероятностных мер.

Доказательство. Поскольку любая выпуклая комбинация ха рактеристических функций является характеристической функ цией и изменение масштаба также не выводит из этого клас са, то достаточно доказать утверждение леммы для функции () = max{0, 1 ||}. В этом случае справедливы следующие равенства:

1 1 (1 ||) = Re (1 + ) = () = 2 1 1 1 cos 0.

=Re (1 + ) = Поскольку (0) = 1 = R, то из положительности () следует, что – плотность вероятности.

Следующее утверждение является обобщением леммы 3.2.

Теорема 3.2. Непрерывная, четная, выпуклая вниз слева и справа от точки = 0 функция conv () является характери стической функцией вероятностной меры3, если conv () 0, conv (0) = 1, conv () 0 при.

Доказательство. Любую ограниченную непрерывную выпуклую вниз симметричную функцию conv () слева и справа от точки = 0 можно равномерно аппроксимировать последовательно стью функций вида, (). В силу доказываемой ниже фор мулы обращения 1 (3.2) (, ) = lim () 2 convex, Для функций выпуклых вниз используется термин а для вы concave пуклых вверх – (англ.) 3.1. Алгебра характеристических функций 1. 0. 0. 0. 0. 0. 0.4 0. 0.2 0. 0. 0. 4 2 0 2 4 2 0 2 Рис. 3.1. Слева – иллюстрация к лемме 3.2: жирной линией изоб ражен график функции () = =1 max{0, 1 ||/ }, где = {4, 3, 2, 1}, = {0.1, 0.2, 0.3, 0.4}, а тонкими линиями – графики слагаемых. Справа – выпуклая вниз слева и справа от точки = характеристическая функция 0.5 () = 1 || (негладкий макси 3 мум) и 1.5 () = 3 || (гладкий максимум) с нормировочной ( 2 ) константой = 2(1 + 1/) (см. (3.5)), устанавливающей однозначное соответствие между вероятностными мерами и характеристическими функциями, из поточечной сходимости характеристических функций сле дует слабая сходимость вероятностных мер. Таким образом обосновывается достаточное условие Пойа, характеризующее нетривиальную связь между выпуклостью вниз и положитель ностью фурье-образа.

Условиям этой теоремы удовлетворяют, например, функции () =||, (0, 1], 0.

Отметим, что теорема Пойа дает достаточные, но не необходи мые условия. В частности, функции при (1, 2] являются характеристическими функциями вероятностных распределе ний, хотя не обладают свойством выпуклости вниз в окрест ности нуля. В то же время, существуют распределения, со ответствующие (0, 2), называемые распределениями Леви.

Глава 3. Теорема Бохнера–Хинчина и ЦПТ Доказательство положительной определенности таких функ ций основано на двух простых фактах, проверку которых мы предоставляем читателю в качестве упражнений.

Упражнение 3.3. Показать, что функция () = (1+||2 )1, 0, положительно определена. (Указание. Используя тео рию вычетов, вычислить ее фурье-прообраз () и убедиться, что – плотность вероятности.) Из этого факта следует положительная определенность функ ций || = lim (1 + 1 ||2 ), а также функций (), ( ()) 1, (в силу леммы Шура) и () = для лю !

бых 0.

Упражнение 3.4. Показать, что для любого (0, 1) имеет место тождество ( ) 1 1 (1 + ) || = 1, =.

1 + ||2 +1 0 Теперь заметим, что ((1+||2 )1 1) () () = || = +1 + 0 =, где в показателе экспоненты стоит интегральная сумма поло жительно определенных функций () = (1+||2 )1. Отсюда следует положительная определенность функций вида || для любых (0, 1], 0.

3.2. Теорема Бохнера–Хинчина и ее следствия Важность леммы Шура состоит в том, что она не использует предположения о том, что функции со свойством 3 являются характеристическими функциями мер. Это свойство алгебры характеристических функций устанавливает теорема Бохнера– Хинчина.

3.2. Теорема Бохнера–Хинчина и ее следствия Теорема 3.3. Любая функция (), обладающая свойствами 1–3, является характеристической функцией некоторой веро ятностной меры.

Доказательство. Докажем теорему для интегрируемых функ ций 1 (R ) 2 (R ), обладающих свойствами 1–3. Для таких функций корректно определено преобразование Фурье:

(), () = (2) которое является непрерывной функцией из 2 (R ). Непре рывность () следует из теоремы Лебега о предельном пере ходе под знаком интеграла.

Покажем, что из положительной определенности функции () следует () 0, а из условия (0) = 1 следует условие нормировки () = 1. Рассмотрим двойной интеграл от непрерывной функции, допускающий аппроксимацию поло жительными конечными суммами по непересекающимся раз биениям -мерного куба = [, ] = :

= def ( ) ( ) = () = (2 ) 1 ( ) ( ) = = lim (2 ),= 1 ( ) 0.

= lim (2 ),= Следовательно, () 0.

Совершая замену переменных =, + =, якоби ан которой равен 1/2, и разбивая область интегрирования по компонентам и на две области 1 и 1 = { [0, 2 ], [2 +, 2 ]}, 2 = { [2, 0], [2, 2 + ]}, Глава 3. Теорема Бохнера–Хинчина и ЦПТ получим следующее выражение для :

1 ( ) ( ) = () = (2 ) ( 1 = () + (4 ) : [0,2 ] : [2 +,2 ] ) + () = : [2,0] : [2,2 + ] ( ) | | = () (), R = где () –характеристическая функция множества.

(0,2N ) D2 D 2N-n -n n (-2N,0 ) (2N,0 ) n-2N (0,-2N ) Рис. 3.2. Область интегрирования после поворота координат || Поскольку |()| 1 (R ), 0 () 1 и 0 1 2 при в каждой точке, то теорема Лебега о предельном 3.2. Теорема Бохнера–Хинчина и ее следствия переходе под знаком интеграла позволяет вычислить предел:

( ) | | () lim () lim () = = R () = (2) () 0.

= R Таким образом, 1 () = () = () = lim (2) (2) (3.3) lim () 0.

= (2) Учитывая, что в рассматриваемом нами случае из 2 (R ) следует 2 (R ), вычислим преобразование Фурье:

() = () = ().

() (2) В силу непрерывности при = 0 имеем () = (0) = 1, то есть () – плотность вероятности.

Замечание 3.1. Заметим, что функция () = явля ется характеристической функцией нормального распределе ния с нулевым средним и дисперсией 2. Если функция () не является абсолютно интегрируемой функцией из 2, рас сматривается семейство функций () = () 1 2, обладающих указанными выше свойствами и являющихся ха рактеристическими функциями вероятностных мер [, ) = ().

Можно доказать, что из сходимости () () в каждой точке R при 0 следует сходимость вероятностных мер к некоторой вероятностной мере () на каждом измери мом множестве. Действительно, для любой гладкой финитной Глава 3. Теорема Бохнера–Хинчина и ЦПТ функции (), имеющей гладкий, быстро убывающий фурье образ (), выполнено равенство Парсеваля:

1 ( ) = () () = ( ) () (2) (3.4) = () (), def где () = (2) (). Напомним, что из 1 следует, что 1, поэтому в силу теоремы Лебега в левой части этого равенства можно совершить предельный переход при 0. Он используется как определение левой части при = 0, а правая часть допускает равномерную по оценку:

() () sup | ()| def || ||, = определяющую линейный ограниченный функционал ( ) = ()() на множестве непрерывных ограниченных функций, обраща ющихся в нуль на бесконечности. Его можно продолжить на множество ограниченных функций, содержащее индикаторные функции открытых и замкнутых борелевских множеств :

( ) = sup ( ), ( ) = inf ( ).

() () () () В итоге каждой функции со свойствами 1–3 сопоставляется ве роятностная мера () = ( ), для которой в каждой точке непрерывности имеет место формула обращения, вытекающая из (3.3): (см. [4], гл. II, §12, теорема 3):

( [, ]) = lim ().

= (2) = (3.5) 3.2. Теорема Бохнера–Хинчина и ее следствия Пример 3.1. Пусть = 1, () =, = 1, тогда из (3.5) имеем ( ) ( ) (, ) = lim.

2 Учитывая, что 1 sin cos 2 = sign, lim = lim +0 0 R в точках непрерывности получим (sign ( ) sign ( )) = (, ) = (,) ( ), то есть () ( ) и кумулятивная вероятность = : – корректно определенная непрерыв (, ) = ная справа имеющая предел слева неубывающая ступенчатая функция.

1 2 yk a b Рис. 3.3. Функция 2 ((sign( ) sign( )) Если 1 (R), то вероятностная мера имеет плотность и формула обращения имеет более простой вид:

1 (, ) = ().

2 R Выше было замечено, что характеристическая функция сум мы действительных независимых случайных величин равна про изведению их характеристических функций. Верно и обратное утверждение.

Глава 3. Теорема Бохнера–Хинчина и ЦПТ Лемма 3.3. Если характеристическая функция суммы слу чайных величин { }, R равна произведению их ха = рактеристических функций, то есть () = E = E при любых, то случайные величины { } независимы.

= Доказательство. Докажем лемму для двух случайных величин,. Пусть (), () – фурье-образы индикаторных функ ций ограниченных измеримых множеств, R и, (, ) = E+ = () () по предположению. Тогда, в силу равенства Парсеваля, имеет место тождество, {( ) ( )} = (, ) () () = (, ) ()+() () () = (2) = (, ) () () = = () () () () = () ().

Итак, мы доказали равенство, {( ) ( )} = () (), означающее независимость случайных величин,.

Упражнение 3.5. Найти распределения, имеющие характе ристические функции sin ) () = cos2,, () = det(+2 ) 2, ( () = где R, – единичная матрица, – вещественная матрица того же размера.

3.2. Теорема Бохнера–Хинчина и ее следствия Упражнение 3.6. Используя лемму Шура, показать, что ес ли (), (), () – характеристические функции действи тельных случайных величин, то (, ) = () () ( ) – характеристическая функция двумерной случайной величины.

Замечание 3.2. Равенство, (, )|= = () () не обес печивает независимости случайных величин,. Действитель но, () () = () () ( )|=, ибо (0) = 1.

С другой стороны, нетрудно убедиться, что в этом случае, {( ) ( )} = () ( + ) ( ).

Это указывает на корреляцию между и.

С помощью доказанной леммы можно убедиться, что имеет место следующий факт, играющий важную роль в математи ческой статистике.

Следствие 3.1. Если – независимые нормально распреде ленные случайные величины, то выборочные оценки среднего def 1 2 def = и дисперсии = 1 | | яв ляются независимыми случайными величинами, причем имеет нормальное распределение, а имеет распределение 2 с 1 степенью свободы.

Доказательство. Предположим, что E = 0, E2 = 1. До статочно проверить, что 2 2 (, ) = E + = E E = (1 + 2).

2 Заметим, что имеет место следующее тождество:

( ) 2 ( ) = = =1 =1 = (3.6) = (, ( )), Глава 3. Теорема Бохнера–Хинчина и ЦПТ def ( где – единичная матрица, = 1,..., 1 R, ) 1/2 1/ – проектор на вектор, а – проектор на подпространство размерности 1, ортогональное вектору. Поэтому существует такой ортонормированный базис, в котором квадратичная и линейная формы выражаются через независимые переменные:

(, ) = (, ( )) =, =.

= Если { } – независимые нормально распределенные слу чайные величины из (0, 1), то характеристическая функция выборочной оценки дисперсии (, ( )) и выбороч ного среднего (, ) равна (, ) = E ( ) + = 1 ||2 +(,( ))+(,) = = R (2) 1 1 ||2 (12) 1 | |2 + = 1 1 = 2 R (2) R 1 (2) = (1 2).

2 Отсюда следует независимость выборочного среднего и диспер сии и вид их распределений:

( ) (0, 1), ( ),2.

Итак, сумма )2 имеет распределение 2 1.

=1 ( Более общее утверждение описывает распределение квад ратичных форм линейного преобразования коррелированных нормально распределенных случайных величин.

3.2. Теорема Бохнера–Хинчина и ее следствия Теорема 3.4. Пусть = {1,..., } R – нормально распределенный случайный вектор с нулевым средним и невы рожденной корреляционной матрицей, : R R – быть может, вырожденная матрица, задающая веществен ное линейное преобразование, =, и ||2 = (, ) – квадратичная форма случайного вектора. Пусть def 1 = 2 = rank = rank min{, }, и {2 } – ненулевые собственные значения матрицы.

= Тогда распределение случайной величины ||2 совпадает с распределением линейной комбинации независимых случай ных величин 2 :

( ) ||2 =,,2.

= Ее характеристическая функция равна (1 22 ) 2.

(3.7) det( 2)1 = () = = Доказательство. Рассмотрим весьма простую схему доказатель ства этой теоремы, использующую стандартные факты из ли нейной алгебры.

Используя невырожденность корреляционной матрицы, пе рейдем к стандартным нормальным переменным = 2, а затем к переменным = ( 2) 2 :

1 1 ||2 2 (, )+(, ) = () = E = (2) det R = (2) 2 2 (,(2) = det( 2)1. (3.8) Далее воспользуемся возможностью привести симметричную матрицу к диагональному виду с помощью ортогонального Глава 3. Теорема Бохнера–Хинчина и ЦПТ преобразования4 и вычислим якобиан перехода от перемен ных к переменным, пользуясь независимостью определите ля матрицы от выбора базиса:

= det(2) 1 = det{ (2)} 1 = (122 ) 2.

2 = Ясно, что нулевые собственные значения 2 не дают вклад в произведение, а каждый нетривиальный сомножитель соответ ствует независимому случайному слагаемому 2 с ненуле вым собственным значением в представлении (3.7). Таким об разом, случайная величина ||2 имеет степеней свободы и по распределению совпадает с 2, 2, 2.

( 1 ) =1 3.3. Центральная предельная теорема Центральная предельная теорема описывает слабую сходимость распределений к нормальному распределению, то есть сходи мость математических ожиданий достаточно большого множе ства функций случайной величины:

() () C().

: lim () () = Рассматриваемые ниже последовательности распределений, сходящиеся к нормальному, являются примерами плотных се мейств вероятностных распределений. В теории вероятностей термин “плотное” семейство имеет смысл, отличный от смыс ла аналогичного понятия в функциональном анализе. Здесь “плотность” семейства распределений { } в топологическом пространстве означает существование измеримых компак тов, таких, что sup ( ) 0.

Напомним, что действие ортогональной матрицы сохраняет норму векторов. Строки и столбцы такой матрицы должны образовывать ор тонормированные системы.

3.3. Центральная предельная теорема Замечание 3.3. Нетрудно видеть, что семейство мер в полном метрическом пространстве плотно, если моменты какого-либо порядка 0 равномерно ограничены: sup E (), где () – расстояние от до точки 0. Действительно, из неравенства Чебышева следует, что в качестве компактов можно использовать шары достаточно большого радиуса:

E() ( /)1/.

(() ) = Свойство плотности играет важную роль для доказатель ства теорем существования и единственности предельных рас пределений, поскольку в весьма общей ситуации любое плот ное семейство относительно компактно5, а теорема Прохоро ва (см. [4], гл. III, §2) утверждает, что в полных метрических сепарабельных пространствах плотность и относительная ком пактность эквивалентны. Таким образом, остается установить единственность предельной точки.

В конечномерном случае равномерная непрерывность семей ства характеристических функций в нуле влечет плотность со ответствующего семейства вероятностных мер. Докажем это утверждение в одномерном случае.

Лемма 3.4. Пусть def 1/(1sin 1) и () = E – характе = ристическая функция случайной величины с распределением. Тогда 1/ (3.9) () (1 Re ()).

|| Доказательство. Переходя к вещественной части характеристи { } называется относительно ком Семейство вероятностных мер пактным, если любая подпоследовательность мер содержит слабо сходя щуюся подпоследовательность.

Глава 3. Теорема Бохнера–Хинчина и ЦПТ ческой функции, имеем следующие оценки:

1/ 1/ (1 Re ()) = (1 cos ) () = 0 0 R ( ) ( ) sin / sin / 1 () 1 () = / / || R ( ) sin inf 1 (|/| 1) (|| ), где inf 1 1 sin = 1 sin 1 = 1/. Отсюда следует (3.9).

( ) Следствие 3.2. Если семейство характеристических функций () равностепенно непрерывно в нуле, то есть для любого 0 существует открытая окрестность нуля такая, что sup |1 ()|, то соответствующее семейство мер слабо компактно.

Доказательство. Равностепенная непрерывность и оценка (3.9) обосновывают сходимость 1/ sup (|| ) sup(1 Re ()) (), () = sup sup(1 Re ()) ||1/ при, поэтому семейство плотно. В силу теоремы Прохорова оно слабо компактно.

Для доказательства центральной предельной теоремы и тео ремы о характеризации случайных величин с помощью их мо ментов нам потребуется следующая простая лемма.

Лемма 3.5. Для любых R и 0 имеет место следую щая оценка:

() ()+ def () = | ()| 1.

= (), ! ( + 1)!

= 3.3. Центральная предельная теорема Доказательство. Нетрудно проверить тождества = 0 (), (), 0 () = 1 = +1 () = 0 где, |0 ()| 1.

0 () = Отсюда по индукции получаем утверждение леммы:

+1 | ()| + |+1 ()| | ()|.

( + 1)! ( + 2)!

0 Лемма доказана.

Теорема 3.5. Пусть – независимые одинаково распреде ленные случайные величины в R со средним = 0 и ковариа ционной матрицей E =. Тогда для любого измеримого множества R существует предел ( ) lim = (), 1 1 (, )/2, () = det (2) где () – фурье-прообраз предельной характеристической функ ции () = (,)/2.

Пусть { } – одинаково распределенные независимые слу чайные величины в R с распределением (), средним зна чением 1 = E R и невырожденной ковариационной мат рицей = E( E) ( E). Обозначим через () – харак теристическую функцию скомпенсированной случайной вели чины = E. Тогда E = 0 и ее ковариационная матрица равна E. В силу независимости случайных величин Глава 3. Теорема Бохнера–Хинчина и ЦПТ характеристическая функция суммы независимых случайных величин { } равна произведению = ) ( 1 = () =,.



Pages:   || 2 | 3 | 4 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.