авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 |   ...   | 3 | 4 || 6 |

«КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Кафедра математической статистики И.Н. Володин ЛЕКЦИИ ...»

-- [ Страница 5 ] --

Проблема состоит в оценке обеих компонент m и p двумерного параметра = (m, p). Из курса теории вероятностей нам известно, что среднее зна чение биномиального распределения равно mp, а дисперсия – mp(1 p).

Приравнивая эти теоретические моменты их выборочным аналогам, полу чаем систему для определения оценок по методу моментов:

mp = X, mp(1 p) = S 2.

Разделив второе уравнение на первое, находим оценку X S pn = X параметра p, после чего, обращаясь к первому уравнению, находим оценку X mn = X S параметра m. Легко показать, что эти оценки обладают свойством состо ятельности (общий метод доказательства таких утверждений смотрите в приведенной ниже теореме 3.1), но при малых n велика вероятность полу чить отрицательные значения оценок, оценка параметра m, как правило, не будет целым числом, наконец, можно показать, что оценка p = X пара n метра p будет обладать меньшим квадратичным риском, чем оценка pn. Все это, конечно, печально, однако другие методы, приводящие к более точным оценкам, обладают значительными вычислительными трудностями.

П р и м е р 3. 2. Оценка параметров гамма-распределения G(, a). У это го двухпараметрического распределения среднее равно a, а дисперсия – a2. Решение системы уравнений a2 = S a = X, дает оценки S2 X an =, n = 2, S X которые, как и в предыдущем примере, не являются функциями достаточ ной статистики n n T X (n) = Xk, Xk, 1 и как показывают не совсем простые вычисления, их риски далеки от воз можного минимума. Тем не менее, очевидная вычислительная простота оценок параметров гамма-распределения по методу моментов обеспечива ет их популярность в практических применениях.

Изучим теперь асимптотические свойства оценок по методу моментов – установим условия их состоятельности и исследуем поведение их распре делений при больших объемах выборок. Для простоты мы ограничимся случаем одномерного параметра, оценка которого определяется решени ем уравнения µ() = E X = X, и предположим, что это уравнение имеет единственное решение n = h(X). Понятно, что h(·) = µ1 (·), так что h(µ()). О возможности распространения наших результатов на слу чай векторного мы поговорим отдельно.

Теорема 3.1. Если наблюдаемая случайная величина X имеет конечное среднее значение µ = µ() и функция h(·) непрерывна в области значений выборочного среднего X, то n = h(X) является состоятельной оценкой параметра по методу моментов.

Д о к а з а т е л ь с т в о. Мы воспользуемся формулой (1) в определении со стоятельности оценки и покажем, что для любых 0 и 0 существует такое N (, ), что для всех n N (, ) вероятность h(X) 1.

P (2) Поскольку h(µ) = h(µ()) = и X µ, то нам достаточно показать, P что свойство (или определение) непрерывности функции: h(x) h(µ) при x µ, остается справедливым при замене обычной сходимости на сходимость по вероятности, то есть X µ влечет h(X) h(µ). Это P P P почти очевидно, поскольку событие, состоящее в попадании в окрестность нуля случайной величины | X µ |, влечет аналогичное событие для слу чайной величины | h(X)h(µ) |, но все же проведем строгое доказательство на языке.

Так как X µ(), а h(·) – непрерывная функция, то найдутся такие P = (, ) и N = N (, ), что P ( | X µ() | ) 1 (3) для всех n N и событие | X µ() | повлечет событие | h(X) h(µ()) | = | h(X) |.

В силу этого неравенство (2) становится следствием неравенства (3). Тео рема доказана.

Анализ доказательства показывает, что теорема состоятельности оста ется справедливой в случае векторного параметра, если воспользоваться определением непрерывности векторной функции от векторного аргумента, связав его с расстояниями в эвклидовых пространствах значений функции и ее аргумента.

Обратимся теперь к асимптотическому анализу распределения оценки n = h(X) при n. Понятно, что в данном случае употребление терми на “оценка” применительно к функции h(X) ничего особенно не добавляет – речь идет просто об асимптотическом распределении статистики, имеющей вид функции от выборочного среднего.

Теорема 3.2. Если X (n) – случайная выборка из распределения с ко нечными средним значением µ и дисперсией 2, функция h(x) обладает ограниченной второй производной h (x) в некоторой окрестности точки x = µ и h (µ) = 0, то x n h(X) h(µ) x = lim P. (4) | h (µ) | n где (·) – функция распределения стандартного нормального закона.

Д о к а з а т е л ь с т в о. Понятно, что мы должны воспользоваться цен тральной предельной теоремой (§14 курса ТВ) применительно к статистике n X=n Xk :

x n X µ x = lim P. (5) n Стандартный прием использования этой теоремы при асимптотическом анализе функций от сумм независимых, одинаково распределенных слу чайных величин состоит в “линеризации” таких функций с помощью фор мулы Тейлора. В нашем случае мы разлагаем функцию h(·) в окрестности точки X = µ, используя только два члена разложения:

(X µ) h(X) = h(µ) + (X µ)h (µ) + µ + (X µ), h 2!

где 0 1.

Перепишем это разложение в виде n(X µ) n h(X) h(µ) = n(X µ)h (µ) + h µ + (X µ), 2!

представив тем самым случайную величину n h(X) h(µ) (см. форму лу (4)) в виде суммы двух случайных величин, первая из которых в силу формулы (5) имеет предельное нормальное распределение, указанное в пра вой части (4), а вторая сходится по вероятности к нулю. Действительно, h µ + (X µ) по условию теоремы ограничено с вероятностью сколь угодно близкой к единице, начиная с некоторого n. В силу неравенства Чебышева (предложение 6.2 курса ТВ) для любого 0 вероятность E n(X µ)2 nDX n(X µ)2 = 0, P = n и поэтому стоящий перед h /2! множитель, а с ним и все второе слагае мое сходятся по вероятности к нулю. Доказательство теоремы завершается ссылкой на предложение 11.1 курса ТВ: если одна последовательность слу чайных величин имеет невырожденное предельное распределение F, а вто рая сходится по вероятности к нулю, то предельное распределение суммы этих последовательностей совпадает с F.

Итак, если h(X) – оценка n параметра по методу моментов, то фор мула (4) теоремы 3.2 принимает вид x n n ) lim P x =.

| h (µ) | n Однако асимптотическая формула (4) может применяться не только к вычислению надежности оценок по методу моментов, но и к аппроксима ции распределений функций от выборочного среднего, представляющих некоторые оценки функций от “теоретического” среднего.

П р и м е р 3.3. Оценка вероятности значений пуассоновской случайной величины. По выборке объема n из распределения Пуассона P() требуется оценить вероятность того, что за единицу времени произойдет не более одного события. Эта вероятность 1) = ( + 1) e.

h() = P (X Поскольку в распределении Пуассона = EX, то естественно за оценку h() принять статистику h(X) – функцию от выборочного среднего, удо влетворяющую всем условиям теоремы 3.2. Воспользуемся утверждением этой теоремы для приближенного вычисления надежности данной оценки при заданной точности.

Надежность оценки h(X) H(;

h(X)) = P |h() h(X) |.

Так как h () = e, и для распределения Пуассона 2 =, то применение формулы (4) в обо значениях = / n приводит к следующей аппроксимации надежности оценки:

H(;

h(X)) 2 3/2 e 1.

Полученная аппроксимация указывает на хорошую надежность оценки при очень малых и достаточно больших значених параметра ;

минимум надежности достигается при = 2/3.

В том случае, когда оценка имеет вид функции от двух и более выбо рочных моментов, метод асимптотического анализа ее распределения тот же. Например, пусть n = h(a1, a2 ), и функция h удовлетворяет условиям, аналогичным требованиям к h в теореме 3.2. Используя формулу Тейлора, представим h в окрестности точки (1, 2 ) в следующем виде:

h(a1, a2 ) = h(1, 2 ) + (a1 1 )h1 (1, 2 )+ (a2 2 )h2 (1, 2 ) + Op (| a |2 ), где a = (a1, a2 ), = (1, 2 ). Легко проверяется, что n| a |2 0, так P что случайная величина n (h(a1, a2 ) h(1, 2 )) асимптотически нор мальна с параметрами, которые выражаются через первые четыре момента наблюдаемой случайной величины X.

§4. Оценка параметров. Метод максимального правдоподобия Лекция Мы приступаем к изучению более точного метода оценки неизвестного значения параметра. Он превосходит метод моментов и при наличии доста точных статистик дает оптимальные оценки с точки зрения квадратично го риска. Более того, при выполнении определенных условий регулярности этот метод приводит к асимптотически (n ) оптимальным оценкам для широкого класса вероятностных моделей и практически при любых функциях потерь.

Идея метода состоит в математической формализации “разумного” пове дения человека в условиях неопределенности. Представим себе ситуацию, что мы ожидаем появления одного из нескольких событий, вероятности которых нам неизвестны и нас интересуют не столько значения этих ве роятностей, сколько то событие, которое происходит наиболее часто. Си туация осложняется тем, что мы располагаем всего одним испытанием, в результате которого произошло некоторое событие A. Конечно, мы при мем решение, что A обладает наибольшей вероятностью, и вряд ли можно предложить нечто более разумное, чем такое правило принятия решения.

В этом и состоит принцип максимального правдоподобия, который бук вально пронизывает всю теорию оптимального статистического вывода.

Применение этого принципа к проблеме оценки параметров приводит к следующему статистическому правилу: если x(n) – результат наблюдения случайной выборки X (n), то за оценку параметра следует брать то его значение, при котором результат x(n) обладает наибольшим правдоподо бием.

Вы спросите, что такое “правдоподобие” результата x(n) ? Давайте фор мализуем это понятие.

Если наблюдается дискретная случайная величина, то естественно на звать правдоподобием результата x(n) при фиксированном значении пара метра вероятность его наблюдения в статистическом эксперименте. Но в дискретном случае эта вероятность совпадает со значением функции плот ности в точке x(n) : P (X (n) = x(n) ) = fn (x(n) | ). Следовательно, оценка по методу максимального правдоподобия определяется точкой достижения максимума у функции плотности случайной выборки, то есть n (X (n) ) = arg max fn X (n) |. (1) Рассмотрим сразу же простой пример. Пусть X (n) – выборка в схеме Бернулли, и мы оцениваем вероятность успешного исхода. В этой модели n n Xk Xk n f (X (n) | ) = (1 ).

1 Дифференцируя эту функцию по и приравнивая производную нулю, на ходим оценку максимального правдоподобия n n = (1/n) Xk.

Это – давно знакомая нам оценка вероятности успеха в испытаниях Бернул ли, которую мы получили с помощью моментов и постоянно использовали при иллюстрации закона больших чисел.

Теперь определим правдоподобие в случае выбора из непрерывного рас пределения с функцией плотности (по мере Лебега) fn (x(n) | ), x(n) Rn,.

Пусть x(n) – совокупность выборочных данных, то есть точка в n-мерном выборочном пространстве Rn. Окружим эту точку прямоугольным парал лелепипедом малого размера, скажем, n [ xk /2;

xk + /2].

V = В силу теоремы о среднем для кратного интеграла вероятность того, что выборочный вектор попадет в этот параллелепипед P X (n) V fn (x(n) | ) · n, когда 0. Если трактовать эту вероятность, как правдоподобие ре зультата x(n), которое, конечно, зависит от выбора малого, мы видим, что проблема максимизации правдоподобия сводится к проблеме отыска ния точки достижения максимума по всем у функции плотности fn.

Таким образом, и в случае непрерывного распределения разумно назвать правдоподобием результата x(n) при фиксированном значении параметра опять-таки величину функции плотности выборки, то есть fn (x(n) | ), и определить оценку максимального правдоподобия той же формулой (1).

Рассмотрим пример на построение такой оценки в случае выбора из непрерывного распределения. Пусть наблюдается случайная величина X N (µ, 2 ), так что функция плотности выборки 1 1 n fn (x(n) | ) = (xk µ)2, exp n/2 n (2) где = (µ, ) – двумерный параметр, значение которого нам неизвестно.

В соответствии с формулой (1) необходимо отыскать точку достижения максимума функции fn (X (n) | µ, ) по переменным µ R и R+. Есте ственно, логарифм этой функции имеет те же точки экстремума, что и сама функция, но логарифмирование упрощает выкладки, поэтому ищем максимум функции n 1 n L( | X (n) ) = ln fn (X (n) | ) = ln 2 n ln 2 (Xk µ)2.

2 2 Составляем уравнения, определяющие точки экстремума:

L 1 n (Xk µ) = 0, = µ L n 1 n (Xk µ)2 = 0.

= + Из первого уравнения сразу находим оценку параметра µ : µn = X. Под ставляя X вместо µ во второе уравнение, находим оценку : n = S (выборочное стандартное отклонение). Очевидно, (X, S) – точка максиму ма. Таким образом, метод максимального правдоподобия приводит к тем же оценкам X и S 2 параметров µ и 2, что и метод моментов.

Теперь дадим строгое определение правдоподобия и рассмотрим еще несколько примеров, в которых метод максимального правдоподобия да ет оценки, отличные от метода моментов.

Определение 4.1. Случайная функция n (n) L( | X f (Xi | ) )= i= на параметрическом пространстве называется функцией правдоподобия, а значение ее реализации L(0 | x(n) ) при результате наблюдения X (n) = x(n) и фиксированном = 0 – правдоподобием значения 0 при результате x(n). Любая точка n = n (X (n) ) (статистика) параметрического простран ства, доставляющая абсолютный максимум функции правдоподобия, на зывается оценкой максимального правдоподобия параметра.

Поскольку функция правдоподобия представляет собой произведение функций от, то при отыскании ее максимума методами дифференциаль ного исчисления удобнее иметь дело с логарифмом этой функции. Есте ственно, точки экстремума у функции логарифмического правдоподобия n (n) L( | X ln f (Xi | ) )= i= те же, что и у функции L, но если функция L(· | x(n) ) имеет непрерывные частные производные по компонентам 1,..., k параметрического вектора, то проще дифференцировать L чем L. В этом случае система уравнений L( | X (n) ) = 0, i = 1,..., k (2) i называется уравнениями правдоподобия. Это еще одна разновидность так называемых оценочных уравнений, – в предыдущем параграфе мы имели дело с уравнениями метода моментов.

Любое решение системы уравнений (2), доставляющее максимум функ ции L(· |X (n) ), может рассматриваться как оценка по методу максималь ного правдоподобия. Мы не будем изучать случаи, когда система (2) имеет несколько решений с возможно одинаковыми значениями функции прав доподобия в этих точках, так что требуются дополнительные априорные знания относительно вероятностной модели, позволяющие выбрать одно из этих решений. Во всех рассмотренных ниже примерах оценка максималь ного правдоподобия единственна.

П р и м е р 4. 1. Оценка параметра положения равномерного распределе ния U(0, ). Равномерное на отрезке [ 0;

] распределение имеет функцию плотности f (x | ) = 1, если 0 x, и f (x | ) = 0 вне этого отрезка.

Следовательно, функция L( | X (n) ) отлична от нуля и равна n только в области X(n) = max Xk.

1kn Ее максимум по достигается в граничной точке = X(n), так что наиболь шее значение X(n) выборки X (n) есть оценка максимального правдоподобия параметра.

Легко видеть, что оценка по методу моментов равна 2X. Эта оцен ка на порядок хуже оценки максимального правдоподобия с точки зрения квадратичного риска R(;

n ) = E n (X (n) ).

Простые вычисления соответствующих математических ожиданий показы вают, что R(;

2X) = O(n1 ), в то время как R(;

X(n) ) = O(n2 ). Данный пример интересен тем, что здесь функция правдоподобия не имеет гладко го максимума, и именно это обстоятельство, как будет видно в дальнейшем, обеспечивает такое различное поведение риска рассматриваемых оценок.

П р и м е р 4. 2. Оценка параметров гамма-распределения G(a, ). У это го распределения функция плотности 1 x x1 exp f (x | ) =, x 0, = (a, ), a () a отлична от нуля только на положительной полуоси, и логарифмическое правдоподобие n n (n) L(a, | X ) = n ln a n ln () + ( 1) ln Xk Xk.

a 1 Составляем уравнения правдоподобия:

n L n = +2 Xk = 0, a a a n L = n ln a n() + ln Xk = 0, где () = d ln ()/d – так называемая пси-функция Эйлера. Исключая из первого уравнения параметр a и подставляя полученный результат во второе, получаем трансцендентное уравнение n ln () = ln X ln Xk, n которое в силу свойства монотонности функции ln () имеет един ственное решение. При численном решении этого уравнения может ока заться полезной асимптотическая ( ) формула 1 1 ln () = + +O.

2 122 П р и м е р 4. 3. Оценка параметров структурированного среднего при нормальном распределении отклика. Данная задача весьма часто возника ет при калибровке шкалы прибора. Две переменные x и y связаны линей ным соотношением y = a+bx, и для градуировки значений y на шкале при бора необходимо знать значения параметров a и b этой зависимости. Одна ко для каждого стандартного фиксированного значения x прибор замеряет значение y с ошибкой, так что замеры происходят в рамках вероятностной модели Y = a+bx+, где ошибка измерения (случайная величина) имеет нормальное распределение с нулевым средним и некоторой дисперсией 2, значение которой, как правило, также неизвестно. Случайная величина Y обычно называется откликом на значение регрессора x;

ее распределение при фиксированном x очевидно нормально (a + bx, 2 ).

Для оценки a и b производится n измерений отклика y1,..., yn при неко торых фиксированных значениях x1,..., xn регрессора x, оптимальный вы бор которых, обеспечивающий наибольшую точность и надежность калиб ровки, составляет самостоятельную задачу особой области математической статистики – планирование регрессионных экспериментов. Мы будем пред полагать, что значения x1,..., xn априори фиксированы. В таком случае значения y1,..., yn представляют реализации n независимых случайных ве личин Y1,..., Yn, и Yk N (a + bxk, 2 ), k = 1,..., n. Совместная функция плотности Y1,..., Yn равна 1 1 n fn (y (n) ) | a, b, ) = (yk a bxk )2 ), exp (2)n/2 n 2 так что логарифмическая функция правдоподобия, необходимая для оцен ки параметров a, b и методом максимального правдоподобия имеет вид n n (n) (Yk a bxk )2.

L(a, b, | Y ) = ln 2 n ln 2 2 Вычисляя производные этой функции по переменным a, b и, получаем уравнения правдоподобия n (Yk a bxk ) = 0, n xk (Yk a bxk ) = 0, n (Yk a bxk )2 = 0.

n Конечно, это очень простая система уравнений, решение которой не может вызывать каких-либо затруднений, и мы сразу пишем оценки максималь ного правдоподобия n mx Y n = mx Y, 1 Yk an n xk an = Y 2 x, b = b, s sx n x где n n n n 1 1 1 (Yk Y )2, (xk x), SY = x= xk, Y = Yk, sx = n n n n 1 1 1 n (xk x)(Yk Y ).

mx Y = n Легко видеть, что оценки по методу максимального правдоподобия пара метров a и b совпадают с их оценками по методу наименьших квадратов.

В этом методе “выравнивания” экспериментальных данных оценки ищутся n (Yk a bxk )2, из условия минимизации суммы квадратов невязок:

причем под невязкой понимается разность между откликом Y и его “тео ретическим” средним значением a + bx.

П р и м е р 4. 4. Оценка параметров двумерного нормального распределе ния: задачи регрессии и прогноза. Оценка по методу максимального прав 2 доподобия пяти параметров µ1, µ2, 1, 2, двумерного нормального рас пределения с функцией плотности f (x, y | ) = · 1 21 (x µ1 )2 (x µ1 )(y µ2 ) (y µ2 ) exp 2 + 2 2(1 2 ) 1 1 2 не представляет особой технической сложности. Эти оценки совпадают с оценками по методу моментов и, таким образом, равны выборочным ана логам тех характеристик двумерного нормального распределения, которые соответствуют указанным пяти параметрам:

2 2 µ1,n = X, µ2,n = Y, 1,n = SX, 2,n = SY, n = r.

Формулы для вычисления выборочных средних X и Y, выборочных дис 2 персий S1 и S2, а также выборочного коэффициента корреляции r приве дены в §2.

Полученные оценки часто используются для оценки параметров линей ного прогноза Y = a + bX значений случайной величины Y по результатам наблюдений X. В случае нормального распределения линейный прогноз обладает свойством оптимальности с точки зрения малости средней квад ратичной ошибки и совпадает с кривой средней квадратичной регрессии (см. предложение 10.3 курса ТВ) (x µ1 ).

y = µ2 + Однако формальная подгонка прогностической кривой с помощью пря мой линии используется и вне рамок нормальной модели, и в этом случае оценки S2 S an = Y r X, n = r b S1 S совпадают с оценками по методу наименьших квадратов: минимизирует ся, как и в примере 4.3, сумма квадратов невязок n (Yk a bXk )2.

Хотя оценки в обоих примерах имеют одинаковый вид, но решаемые в них статистические проблемы весьма различны: в примере 4.3 оценивались параметры некоторой функциональной зависимости с ошибками в наблю дениях отклика, в то время как в примере 4.4 решается задача выявления корреляционной связи и использования этой связи для прогноза.

Лекция Исследуем теперь асимптотические свойства оценок по методу макси мального правдоподобия.

Начнем с выяснения достаточных условий состоятельности этих оценок.

Такие ограничения на вероятностную модель обычно называются услови ями регулярности, и в данном случае они имеют следующий вид.

(R1) Параметрическое пространство есть открытый интервал на прямой R.

(R2) Носитель X распределения P наблюдаемой случайной величины X не зависит от, то есть все множества X = {x : f (x | ) 0} можно считать одинаковыми, каково бы ни было.

(R3) Распределения P различны при разных, то есть при любых 1 = 2, 1, 2, имеет место тождество µ{x : x X, f (x | 1 ) = f (x | 2 )} = 0, где µ – мера, по которой вычисляется плотность f (x | ) распределения P.

Доказательство состоятельности оценок максимального правдоподобия, как и оценок по методу моментов, опирается на закон больших чисел, но при этом используется следующее достаточно простое, но играющее боль шую роль в теории вероятностей, неравенство.

Лемма 4.1. (неравенство Йенсена) Пусть X – случайная величина с конечным математическим ожиданием. Если функция g(·) дважды диф ференцируема и выпукла (g 0) на некотором интервале, содержащем носитель распределения X, и математическое ожидание E g(X) существу ет, то справедливо неравенство E g(X) g(EX), причем знак равенства достигается тогда и только тогда, когда распределение X сосредоточено в одной точке (X = const.).

Д о к а з а т е л ь с т в о. Так как функция g дважды дифференцируема, то справедливо следующее представление Тейлора в окрестности точки µ = EX :

g(X) = g(µ) + (X µ)g (µ) + (X µ)2 g (µ + (X µ))/2, 0 1.

Вычисляя математическое ожидание от обеих частей этого равенства, по лучаем E g(X) = g(EX) + E(X µ)2 g (µ + (X µ))/2 g(EX).

Знак равенства возможен только в случае E(X µ)2 g (µ + (X µ)) = 0.

Но поскольку g 0, то последнее равенство с необходимостью влечет (X µ)2 = 0, то есть X = const.

Покажем теперь, что справедлива Теорема 4.1 (состоятельность). Если функция логарифмического прав доподобия n (n) L( | X ln f (Xk | ) )= (3) k= имеет единственный максимум, то при выполнении условий регулярности (R1)–(R3) точка n достижения максимума этой функции (оценка макси мального правдоподобия) является состоятельной оценкой параметра.

Д о к а з а т е л ь с т в о. Покажем, что для любого фиксированного и любого 0 вероятность P0 | n 0 | 1.

Если 0 – истинное значение параметра, то в силу условия (R1) – внутренняя точка. Тогда сформулированная выше задача состоит в доказательстве следующего утверждения: в некоторой -окрестности ( ;

0 + ) функция L( · | X (n) ) обладает локальным максимумом с вероят ностью, стремящейся к единице при n.

Но если происходит событие An = L(0 | X (n) ) L(0 ± | X (n) ), то внутри этой окрестности имеется точка максимума, и нам остается толь ко показать, что P 0 (An ) 1, ибо | n 0 | P 0 P 0 (An ).

Используя условие (R2) и вид функции L (см. (3)), представим неравен ство, определяющее событие An, в виде n f (Xk | 0 ± ) ln 0.

f (Xk | 0 ) n k= В силу закона больших чисел Хинчина левая часть этого неравенства сходится по вероятности к f (Xk | 0 ± ) E 0 ln, (4) f (Xk | 0 ) и для доказательства утверждения достаточно показать, что это матема тическое ожидание строго меньше нуля (кстати, докажите сами, что при справедливости условий теоремы математическое ожидание (4) всегда су ществует, в противном случае закон больших чисел Хинчина не применим).

Так как g(x) = ln x – выпуклая функция, то в силу неравенства Йен сена f (X | 0 ± ) f (X | 0 ± ) E 0 ln ln E 0 = f (X | 0 ) f (X | 0 ) f (x | 0 ± ) · f (x | 0 )dµ(x) = ln 1 = 0, ln f (x | 0 ) X причем равенство нулю первого члена в этой цепочке неравенств возможно лишь в случае f (X | 0 ± ) = const., f (X | 0 ) то есть, поскольку интеграл от плотности равен 1, лишь в случае f (X | 0 ± ) = f (X | 0 ), что невозможно в силу условия (R3). Таким образом, математическое ожи дание (4) строго меньше нуля, и состоятельность оценки максимального правдоподобия доказана.

Изучим теперь асимптотическое распределение оценки максимального правдоподобия. Для этого нам потребуется ввести дополнительные условия регулярности.

(R4) Для каждой точки 0 параметрического пространства существует некоторая ее окрестность, в которой функция плотности f (x |) три жды дифференцируема по параметру и f (x | ) H1 (x), (5) 2 f (x | ) H2 (x), (6) 3 ln f (x | ) H3 (x), причем функции H1 И H2 интегрируемы по мере µ на носителе X распределения X и E H3 (X) в некоторой окрестности каждой точки параметрического пространства.

(R5) Функция 2 ln f (X | ) ln f (x | ) f (x | ) dµ(x) 0, I() = E = X каково бы ни было.

Естественно, столь громоздкие и, на первый взгляд, странные условия требуют некоторого комментария.

Условие (R4) означает, что соответствующие производные функции плот ности равномерно интегрируемы на X, и поэтому можно выносить произ водную по за знак интеграла.

Условие (R5) требует положительности очень важной, с точки зрения состоятельности статистического вывода, характеристики вероятностной модели: I() называется информацией по Фишеру в точке, содержащей ся в наблюдении случайной величины X. Если I() = 0, то возникают непреодолимые трудности с принятием корректного решения, соответству ющего этой параметрической точке. Понятно, что аналогичным образом можно определить и информацию по Фишеру, содержащуюся в случайной выборке X (n) :

ln fn (X (n) | ) In () = E.

Приведем несколько утверждений, касающихся свойств информации по Фишеру.

Лемма 4.2. 10. При выполнении условия (R4) в части (6) для вычисле ния информации по Фишеру можно использовать формулу 2 ln f (X | ) I() = E.

20. При выполнении условия (R4) в части (5) информация по Фишеру обла дает свойством аддитивности: In () = nI() – информация, содержащаяся в выборке, равна сумме информаций, содержащихся в наблюдении каждой ее компоненты.

Д о к а з а т е л ь с т в о. 10. Условие (R4) в части (6) обеспечивает возмож ность смены порядка дифференцирования и интегрирования функции плот ности, поэтому 2 ln f (X | ) f (X | ) f (X | ) E = E = 2 f (X | ) f (X | ) d f (x | ) · f (x | )dµ(x) I() = 2 f (x | )dµ(x) I() = I().

f (x | ) d X X 20. Используя независимость и одинаковую распределенность компонент случайной выборки, получаем, что n ln f (Xk | ) In () = E = n ln f (Xk | ) ln f (Xi | ) ln f (Xj | ) · E + = k=1 i=j n ln f (Xk | ) ln f (Xi | ) ln f (Xj | ) · E E + E = nI(), k=1 i=j поскольку, в силу неравенства (5) в условии (R4), математическое ожида ние ln f (X | ) f (x | ) d · f (x | ) dµ(x) = f (x | ) dµ(x) = 0.

E = f (x | ) d X X Теперь приступим к выводу асимптотического распределения оценки максимального правдоподобия скалярного параметра.

Теорема 4.2 (асимптотическая нормальность). При выполнении усло вий (R1)–(R5) и наличии единственного локального максимума у функции правдоподобия корень n = n (X (n) ) уравнения правдоподобия L( | X (n) )/ = асимптотически (n ) нормален со средним и дисперсией (nI())1, то есть lim P (n ) nI() x = (x).

n Д о к а з а т е л ь с т в о. Если n – оценка по методу максимального прав доподобия (корень уравнения правдоподобия), то имеет место тождество L(n | X (n) )/ = 0. Используя условие (R4), разложим его левую часть по формуле Тейлора в окрестности истинного значения 0 параметра :

L(n | X (n) )/ = L (0 | X (n) )+ (n 0 )L (0 | X (n) ) + (n 0 )2 L (1 | X (n) )/2 = 0, где производные от функции правдоподобия L вычисляются по параметру, а 1 = 0 + (n 0 ), 0 1.

Разрешим полученное уравнение относительно величины n(n 0 ), которая, согласно утверждению теоремы, должна иметь в пределе при n нормальное распределение со средним 0 и дисперсией [ I(0 ) ]1 :

L (0 | X (n) )/ n n(n 0 ) =. (7) L (0 | X (n) )/n (n 0 )L (1 | X (n) )/2n Числитель правой части этого представления n ln f (Xk | ) 1 L (0 | X (n) ) = n n есть нормированная на n сумма независимых, одинаково распределенных случайных величин с нулевыми средними и дисперсиями I(0 ) 0 (см.

доказательство пункта 20 леммы 4.2). Таким образом, в силу центральной предельной теоремы числитель правой части (7) асимптотически нормален с этими параметрами, и для завершения доказательства теоремы доста точно показать, что знаменатель (7) сходится по вероятности к постоянной I(0 ), и сослаться на пункт (2) предложения 11.1 (теорема типа Слуцкого) курса ТВ.

В силу закона больших чисел и утверждения 10 леммы 4.2 первое сла гаемое в знаменателе (7) n 2 ln f (Xk | 0 ) 2 ln f (X | 0 ) 1 L (0 | X (n) ) = E 0 = I(0 ), 2 n n P так что остается показать, что и второе слагаемое сходится по вероятности к нулю.

Так как при выполнении условий (R1)–(R3) оценка максимального прав доподобия состоятельна, то n 0 0. Множитель при этой разности P n 3 ln f (Xk | 1 ) 1 L (1 | X (n) ) = n n в силу условия (R4), начиная с некоторого n по абсолютной величине не n превосходит (1/n) H3 (Xk ) (это то n, при котором 1 попадает в окрест ность точки 0 с любой наперед заданной вероятностью 1 ). Применяя к этой сумме закон больших чисел, получаем, что она сходится по вероят ности к E 0 H3 (X), и поэтому указанный выше сомножитель ограничен с вероятностью еди ница, а все второе слагаемое в знаменателе правой части (7) сходится по вероятности к нулю.

Доказанная теорема, как будет видно из основного результата следу ющего параграфа, устанавливает асимптотическую оптимальность оценок максимального правдоподобия с точки зрения квадратичного риска.

§5. Эффективность оценок Лекция Обсуждая в начале нашего курса общую проблему статистического вы вода, мы говорили о главной задаче математической статистики – постро ении решающих правил n = n (X (n) ), минимизирующих равномерно по всем функцию риска R(;

n ). К сожалению, без дополнительных ограничений на класс решающих функций эта задача не разрешима. Дей ствительно, рассмотрим проблему оценки параметра, в которой простран ство решений D совпадает с параметрическим пространством, а реша ющая функция n = n – оценка. Возьмем в качестве оценки некоторую фиксированную точку 0, то есть при любом результате x(n) статисти ческого эксперимента будем принимать одно и то же решение d = 0. Если функция потерь обладает тем естественным свойством, что L(, ) = 0, ка ково бы ни было значение, то риск такой оценки R(;

0 ) = L(, 0 ) при = 0 равен нулю. Таким образом, если мы хотим построить оценку с равномерно минимальным риском в классе всевозможных оценок, то мы должны найти оценку n с функцией риска R(, n ) 0, и понятно, что такой оценки не существует. Поэтому мы будем всегда при поиске опти мальных решений указывать класс оценок, в которых ищется оптимальное решение.

Определение 5.1. Оценка n = n (X (n) ) называется оптимальной или оценкой с равномерно минимальным риском в классе K оценок параметра, если для любой оценки n K и каждого имеет место неравенство R(;

n ) R(;

n ).

Ниже предлагается метод нахождения оптимальных оценок скалярного параметра при квадратичной функции потерь в классе несмещенных оце нок: E n (X (n) ) = при любом R, но при дополнительных огра ничениях на вероятностную модель и соответствующее семейство распре делений оценки. Эти ограничения аналогичны тем условиям регулярности, которые мы накладывали на вероятностную модель при изучении асимпто тических свойств оценок максимального правдоподобия. Мы покажем, что квадратичный риск любой несмещенной оценки, удовлетворяющей этим условиям, не может быть меньше [nI()]1 – асимптотической дисперсии оценки максимального правдоподобия (см. теорему 4.2). Следовательно, метод максимального правдоподобия доставляет асимптотическое решение проблемы оптимальной оценки. Более того, мы покажем, что при наличии достаточных статистик метод максимального правдоподобия может приве сти и к точному решению проблемы равномерной минимизации функции риска.

Сформулируем условия регулярности, при выполнении которых будет находиться нижняя (достижимая!) граница квадратичного риска оценки.

(B1) Носитель X распределения P наблюдаемой случайной величины X не зависит от (условие, совпадающее с (R2) в §4).

(B2) Информация по Фишеру I() строго положительна при любом (условие, совпадающее с (R5) в §4).

(B3) Равенство fn (x(n) | ) dµn (x(n) ) = X n можно дифференцировать по под знаком интеграла, то есть fn (x(n) | ) dµn (x(n) ) = 0.

X n По аналогии с (R4) в части (5) для этого достаточно потребовать су ществование такой интегрируемой по мере µ функции H(x), что в некоторой окрестности любой точки выполняется неравенство | f (x | )/ | H(x), x X.

(B4) Оценка n = n (X (n) ) должна принадлежать классу оценок K, среднее значение которых E n (X (n) ) = n (x(n) )fn (x(n) | ) dµn (x(n) ) X n можно дифференцировать по под знаком интеграла.

Конечно, условие (B4) требует комментария. В “высокой” теории стати стического вывода приводятся достаточные условия на семейство распре делений {P, } наблюдаемой случайной величины X, которые обес печивают выполнение условия (B4), но формулировка этих условий и, в особенности, доказательство того, что они влекут (B4), настолько техниче ски и концептуально сложны, что могут составить предмет специального курса. Однако все изучаемые нами в курсе ТВ вероятностные модели, за исключением равномерного распределения, удовлетворяют этим условиям, и поэтому любая оценка их параметров принадлежит классу K.

Прежде чем получить основной “технический” результат этого парагра фа, вспомним одно замечательное неравенство из курса математического анализа. Это – неравенство Коши–Буняковского, которое в случае инте гралов Лебега по вероятностной мере P называется неравенством Шварца.

Пусть Y – случайная величина с распределением P и g, h – две интегриру емые с квадратом по мере P функции на области Y значений Y. Для этих функций имеет место неравенство (E g(Y )h(Y ))2 E g 2 (Y ) · E h2 (Y ) или, что то же, g 2 (y)dP (y) · h2 (y)dP (y), g(y)h(y) dP (y) Y Y Y причем знак равенства достигается тогда и только тогда, когда функции g и h линейно зависимы: существуют такие постоянные a и b, что ag(y) + bh(y) = 0 для почти всех y Y по мере P.

Теорема 5.1 (неравенство Рао–Крамера) При выполнении условий (B1)– (B4) для квадратичного риска любой оценки n K справедливо неравен ство [ d()/d ] (n) (n) E n (X ) D n (X ), (1) nI() где () = E n (X (n) ), причем знак равенства между риском и дисперсией оценки n достигается на несмещенных оценках: () =, а знак равен ства во втором неравенстве (1) имеет место тогда и только тогда, когда существует такая параметрическая функция C(),, что (n) L( | X ) n (X (n) ) () = C() (2) почти наверное по мере P.

Д о к а з а т е л ь с т в о. Продифференцируем обе части равенств fn (x(n) | ) dµn (x(n) ) = 1, X n n (x(n) )fn (x(n) | ) dµn (x(n) ) = () X n по параметру, занося производные в левых частях под знаки интегралов, что можно сделать благодаря условиям (B3) и (B4). Полученный результат, используя условие (B1), представим в виде L( | x(n) ) fn (x(n) | ) dµn (x(n) ) = 0, Xn L( | x(n) ) n (x(n) ) fn (x(n) | ) dµn (x(n) ) = ().

X n Вычтем из второго равенства первое, умножив его предварительно на () :

(n) n (x(n) ) () L( | x ) fn (x(n) | ) dµn (x(n) ) = ().

Xn Применим к левой части полученного равенства неравенство Шварца, по лагая y = x(n), Y = Xn, g(x(n) ) = n (x(n) ) (), h(x(n) ) = L( | x(n) )/, dP (y) = fn (x(n) | )dµn (x(n) ).

В результате получим неравенство ( ())2 n (x(n) ) () fn (x(n) | ) dµn (x(n) )· X n L( | x(n) ) fn (x(n) | ) dµn (x(n) ), (3) X n в котором знак равенства достигается тогда и только тогда, когда выпол няется соотношение (2).

Мы получили неравенства (1), поскольку первое из них очевидно (на дисперсии достигается минимум всевозможных средних квадратичных ук лонений случайной величины от постоянной). Второе неравенство в (1) есть следствие неравенства (3), ибо первый интеграл в правой части (3) ра вен D n, а второй интеграл определяет фишеровскую информацию In (), содержащуюся в выборке. Наконец, из пункта 20 леммы 4.2 следует, что In () = nI().

Следствие 5.1. Если n принадлежит подклассу K K несмещенных оценок класса K, то ее квадратичный риск [n I()]1, R(;

n ) = D n (4) причем знак равенства тогда и только тогда, когда выполняется равенство (2) с () =.

Понятно, что это следствие есть частный случай доказанной теоремы.

Оно указывает неконструктивный путь к построению несмещенных оценок с равномерно минимальным риском. Достаточно вычислить производную в правой части равенства (2) и затем подбирать статистику n = n (X (n) ) и параметрическую функцию C(), для которых имеет место равенство (n) L( | X ) n (X (n) ) = C().

Обычно это можно сделать в случае статистических структур, обла дающих достаточными статистиками, где, в силу теоремы факторизации (теорема 2.1 из §2), функция правдоподобия L( | X (n) ) = g (T (X (n) ))h(X (n) ), и последнее равенство имеет вид (n) ln g (T (X )) n (X (n) ) = C(). (5) Например, для показательного распределения с функцией плотности f (x | ) = 1 exp{x/}, x 0, функция n ln g (X (n) ) = n ln 1 X, ее производная n ln g (T (X (n) ))/ = n/ + X/2, и равенство (5) выполняется при C() = 2 /n и n = X. Таким образом, выборочное среднее X есть несмещенная оценка с равномерно минималь ным риском для параметра показательного распределения. Напомним, что X оценка как по методу моментов, так и по методу максимального правдоподобия.

Легко понять, что если в (4) достигается знак равенства, то n – оп тимальная оценка в классе K, но обратное, вообще говоря, может и не выполняться – мы не располагаем утверждением, что любая оптимальная оценка имеет квадратичный риск, равный [n I()]1. Чтобы подчеркнуть это различие и указать в дальнейшем более конструктивный метод постро ения оптимальных оценок, введем еще одно определение, рассмотрев более общую задачу несмещенной оценки некоторой параметрической функции ().

Определение 5.2. Несмещенная оценка n = n (X (n) ) параметриче ской функции () называется эффективной в классе K, если ее квадра тичный риск (n) = D n (X (n) ) = [ () ]2 /n I(), ) () R(;

n ) = E n (X то есть (см. теорему 5.1 с n = n ) выполняется равенство L( | X (n) ) (n) n (X ) () = C(). (6) Оценка n называется асимптотически эффективной в классе K, если E n (X (n) ) (), D n (X (n) ) [ () ]2 /n I(), когда n.

В силу теоремы 4.2 оценка по методу максимального правдоподобия скалярного параметра (в данном случае () = ) является асимптоти чески эффективной оценкой в классе K. Покажем, что она дает решение проблемы построения эффективной оценки в классе K.

Пусть n – оценка максимального правдоподобия параметра. Опреде лим оценку (n ) параметрической функции () с помощью подстановки вместо ее оценки n.

Теорема 5.2. Если (n ) есть несмещенная оценка параметрической функции () и эффективная в классе K оценка n параметрической функ ции () существует, то при выполнении условий регулярности (R1)–(R5) и (B3)–(B4) почти наверное n (X (n) ) = (n (X (n) )).

Д о к а з а т е л ь с т в о. Если n – эффективная оценка (), то она удо влетворяет равенству (6):

n (X (n) ) () = C()L( | X (n) )/, (7) каково бы ни было. Но если n – оценка по методу максимального правдоподобия, то L(n | X (n) )/ = 0, так что равенство (7) при = n превращается в равенство n (X (n) ) (n ) = почти наверное по вероятности P n.

Из доказанной теоремы немедленно вытекает, что выборочное среднее X есть эффективная (следовательно, и оптимальная) несмещенная оценка параметра таких распределений, как двухточечное, биномиальное при известном m, Пуассона, показательное;

X есть также несмещенная оценка с равномерно минимальным квадратичным риском среднего значения µ нормального (µ, 2 ) распределения.

§6. Доверительные интервалы Лекция Мы рассмотрели несколько методов построения точечных оценок для параметров, значения которых определяют распределение наблюдаемой случайной величины. Был получен ряд утверждений о распределении та ких оценок, что позволяет судить о надежности оценки при заданной точ ности, то есть вычислять вероятности событий вида | n (X (n) ) | при каждом фиксированном значении параметра. Поскольку именно значе ние нам неизвестно, то такого рода вычисления зачастую лишены прак тического смысла – слишком велик размах в надежности оценки n при различных, даже в случае когда мы располагаем некоторой априорной информацией о возможной области значений этого параметра. Поэтому в ряде практических ситуаций пытаются решать обратную задачу: для фик сированной надежности, скажем, 1, где мало, указать некоторую область значений, зависящую, естественно, от выборки X (n), которая с вероятностью, не меньшей 1, накрывает истинное, неизвестное нам значение, причем такое надежностное утверждение должно выполняться при любых. В таком случае по размерам области, которые опре деляются выборочными значениями x(n), можно судить о точности такой интервальной оценки.

Определение 6.1. Подмножество n = n (X (n) ) параметрического пространства называется (1 )-доверительной областью, если P n (X (n) ) 1, (1) каково бы ни было значение. Заданное (фиксированное) значение 1 называется доверительным уровнем, а наименьшее значение левой части неравенства (1) по всем – доверительным коэффициентом.

В случае R доверительная область вида n = n (X (n) );

n (X (n) ) называется доверительным интервалом, в котором различаются нижний n и верхний n доверительные пределы. Доверительные интервалы вида ( n ;

) и (;

n ) называются соответственно нижней и верхней дове рительными границами.

Естественно, конфигурация доверительной области выбирается стати стиком, сообразуясь с ее геометрической наглядностью и, главное, возмож ностью гарантировать доверительную вероятность. В случае скалярного параметра доверительная область обычно выбирается в виде интервала, причем в ряде случаев, например, при оценке надежности или вероятно сти нежелательного события, в виде одностороннего интервала. В случае многомерного параметра обычно строятся доверительные эллипсоиды или параллелепипеды.

Следует обратить особое внимание на правильную формулировку дове рительного утверждения, которая подчеркивается в неравенстве (1) запи сью n (X (n) ) вместо обычного n (X (n) ). Говорить, что значение параметра с вероятностью, не меньшей 1, принадлежит области n, значит сознательно вводить трудящихся на ниве прикладной статистики в заблуждение. Дело в том, что значение параметра в данной вероятност ной модели не является случайной величиной, это постоянная, свойствен ная исследуемому объекту, а постоянная принадлежит какой-либо области только с вероятностью единица или ноль. Вся случайность заключена в самой доверительной области n (X (n) ), и поэтому правильное доверитель ное утверждение гласит: область n (X (n) ) с вероятностью, не меньшей 1, накрывает истинное (неизвестное) значение.

В самом начале нашего курса математической статистики в примере 1. с определением содержания общей серы в дизельном топливе мы строили доверительный интервал фиксированной ширины для среднего значения нормального распределения, когда занимались планированием объема ис пытаний, необходимого для достижения заданной точности и надежности оценки. Рассмотрим еще раз этот пример в свете введенных понятий ин тервальной оценки параметра.

10. Доверительный интервал для среднего значения нор мального распределения при известной дисперсии. Итак, в при мере 1.1 мы имели дело с выборкой X (n) из нормального (µ, 2 ) распреде ления, причем значение параметра нам было известно, так что в качестве неизвестного параметра выступало µ. Наша задача состоит в построении такого интервала µ n (X (n) ), µ n (X (n) ), что Pµ µ n µ µ n 1, при любом значении µ R.

Напомним, что в этом примере оценкой µ служило выборочное среднее X – несмещенная оценка µ с минимальным квадратичным риском. Эта линейная оценка обладает замечательным свойством инвариантности: рас пределение разности X µ не зависит от µ, и это обстоятельство подска зывает нам путь к построению доверительного интервала. Действительно, | X µ | = 2() 1, P n и если положить равным корню уравнения 2() 1 = 1, то есть вы брать = = 1 (1/2), то интервал (X / n, X + / n) будет (1 )-доверительным интервалом для среднего значения µ нормального (µ, 2 ) распределения при известной дисперсии 2.

В этом простейшем примере на построение доверительного интервала ключевым моментом было использование инвариантной случайной функ ции n от оценки n = X и параметра = µ. В принципе, именно на подобном выборе опорной функции H(n, ) с подходящей оценкой n параметра основаны исторически первые методы построения доверитель ных интервалов и множеств. Опорная функция H( ·, · ) подбирается таким образом, чтобы она была монотонно возрастающей функцией второго ар гумента, и при этом вероятность P H(n (X (n) ), ) для некоторых значений должна оставаться достаточно высокой (близкой к единице), каково бы ни было значение. Мы проиллюстрируем этот метод построения доверительных интервалов с помощью подбора инвариантных опорных функций на примере нормального (µ, 2 ) распределения, строя доверительные интервалы для каждого из параметров при известном и неизвестном значениях другого (“мешающего” ) параметра.

20. Верхняя доверительная граница для дисперсии нормаль ного распределения при известном среднем. При выборе из нор мального (µ, 2 ) распределения с известным средним значением µ метод максимального правдоподобия приводит к несмещенной оценке 1 n 2 (Xk µ) n = n параметра 2. Используя результаты предыдущего параграфа, нетрудно показать, что n есть несмещенная оценка с равномерно минимальным риском.

Поскольку, в чем мы неоднократно убеждались, Yk = (Xk µ)/ N (0, 1), k = 1,..., n, то естественно рассмотреть в качестве опорной функцию 1 n H(n, 2 ) = 2 (Xk µ)2.

Найдем ее распределение.

Лемма 6.1. Если Y1,..., Yn независимы и одинаково распределены по стандартному нормальному закону N (0, 1), то n Yk2 имеет гамма-распре деление G(n/2, 2).

Д о к а з а т е л ь с т в о. Покажем, что Y 2, где Y N (0, 1), имеет гамма распределение G(1/2, 2), после чего просто воспользуемся теоремой сложе ния для гамма-распределения (см. предложение 12.2, пункт 50 курса ТВ).

Функция распределения Y 2 вычисляется по формуле F (x) = P (Y 2 x) = P ( x Y x) = ( x)( x) = 2( x)1, так что ее функция плотности x t d 2 x1/21 ex/2, exp dt 1 = f (x) = 1/2 (1/2) dx 2 поскольку (1/2) =. Мы видим, что это – функция плотности гамма распределения G(1/2, 2) с параметром формы = 1/2 и параметром мас штаба a = 2, откуда, как было замечено выше, немедленно следует утвер ждение леммы.

Гамма-распределение G(n/2, 2) очень часто используется в различных задачах математической статистики, и оно появилось раньше, чем гамма распределение G(, a) общего вида, под названием хи-квадрат распреде ление с n степенями свободы. Функция распределения хи-квадрат обычно обозначается Kn (x), x 0, а что касается термина “степени свободы”, то его смысл прояснится по мере других применений хи-квадрат распределе ния.

Теперь мы можем перейти к нашей основной задаче – построению дове рительных границ для 2. Если обратиться к практической стороне этой проблемы (см. в связи с этим пример 1.1), то легко понять, что стати стика должна интересовать только верхняя (а не двусторонняя) граница 2, на которую он будет ориентироваться, чтобы обезопасить себя от гру бых ошибок при планировании статистического эксперимента. Таким об разом, мы должны сформулировать доверительное утверждение в форме 2 n. Понятно, что нижняя доверительная граница и двусторонние границы (доверительный интервал), коль скоро они кому-то потребуются, строятся аналогичным образом.

В рамках такой формулировки задачи, мы должны рассмотреть событие n (Xk µ) 2 2 A = H(n, ) =, выбирая из условия Pµ, (A ) = 1. Как мы только что выяснили, эта вероятность не зависит от µ и, и в силу леммы 6.1 постоянная определяется квантилью хи-квадрат распределения с n степенями свободы – корнем уравнения 1 Kn () = 1. Следовательно, верхняя (1 ) доверительная граница для 2 равна n (Xk µ)2 /Kn (), где, в соответствии с нашими стандартными обозначениями, Kn () есть -квантиль хи-квадрат распределения с n степенями свободы.

Используемые в рассмотренных примерах методы подбора опорных фун кций, основанные на принципе инвариантности статистик (оценок парамет ров µ и 2 ) относительно линейных преобразований, позволяют аналогич ным образом подбирать такие функции и в случае неизвестных значений мешающего параметра. Так, если рассматривается задача построения до верительных границ для 2 при неизвестном µ, то естественно обратиться к оценке 1 n S2 = (Xk X) n параметра, замечая, что ее распределение не зависит от µ, посколь ку каждая из разностей Xk X инвариантна относительно сдвига, ко гда Xk заменяется на Xk µ, k = 1,..., n. Если разделить эти разно сти на, то мы получим случайные величины, распределение которых не зависит как от µ, так и от, и таким образом мы приходим к инвари антной опорной функции H(S 2, 2 ) = S 2 / 2. Для вывода распределения этой функции можно обратиться к нормальным (0, 1) случайным величи нам Yk = (Xk µ)/, k = 1,..., n, поскольку, в чем легко убедиться, 1 n H(S 2, 2 ) = (Yk Y )2.


n Если обратиться к задаче доверительной интервальной оценки µ при неизвестном значении, то здесь инвариантную опорную функцию можно построить, комбинируя ее из опорных функций задач 10 и 20. Как мы виде ли при решении этих задач, распределения случайных величин (X µ)/ и S/ не зависят от µ и, и поэтому в качестве опорной функции при интер вальной оценке µ можно использовать опорную функцию, определяемую отношением этих величин, то есть функцию | X µ |/S.

Однако для построения доверительных интервалов на основе таких фун кций нам необходимо найти совместное распределение статистик X и S 2.

Мы получим это распределение в следующей лекции, сформулировав его в виде утверждения, известного в математической статистике как лемма Фишера.

Лекция Теорема 6.1. В случае выбора из нормального (µ, 2 ) распределения статистики X и S 2 независимы, X N (µ, 2 /n), а nS 2 / 2 2 (имеет n хи-квадрат распределение с n 1 степенью свободы).

Д о к а з а т е л ь с т в о. Пусть Y1,..., Yn – случайная выборка из стандарт ного нормального распределения N (0, 1). Покажем, что статистики n n (Yk Y ) Y= Yk и SY = n k=1 k= независимы, Y N (0, 1/n), а SY 2. Тогда утверждение теоремы n будет следовать из того факта, что Yk + µ имеют то же распределение, что и Xk, k = 1,..., n, и, следовательно, распределение X совпадает с распределением Y + µ, а распределение SY – с распределением nS 2 / 2.

Введем случайные величины n Zk = cki Yi, k = 1,..., n, i= которые определяются заданием матрицы C = cki линейных преобразо ваний случайных величин Y1,..., Yn. Пусть элементы первой строки этой матрицы c11 =... = c1n = 1/ n, а остальные элементы матрицы C вы берем так, чтобы произведение C на транспонированную матрицу C было единичной матрицей: CC = I. Как известно, такой выбор C возможен, и полученная таким образом матрица называется ортонормированной. Слу чайные величины Z1,..., Zn распределены в соответствии с n-мерным нор мальным законом, для спецификации которого достаточно найти вектор средних значений этих величин и матрицу их ковариаций.

Средние значения n n mk = EZk = E cki Yk = cki EYk = 0, k = 1,..., n.

i=1 i= Далее, поскольку средние значения равны нулю, ковариации этих слу чайных величин n n cov(Zk, Zj ) = E(Zk mk )(Zj mj ) = EZk Zj = E cki Yi · cji Yi = i=1 i= n n cki cji Yi E +E cki cjl Yi Yl.

i=1 i=l Если занести математические ожидания под знаки сумм и вспомнить, что Y1,..., Yn независимы, EYi = 0, EYi2 = DYi = 1, а при i = l средние значения EYi Yl = EYi EYl = 0, то получим, что n cov(Zk, Zj ) = cki cji, k, j = 1,..., n.

i= Поскольку для ортонормированной матрицы последняя сумма равна нулю, если k = j, и равна единице, если k = j, то мы приходим к заключению, что Z1,..., Zn независимы и одинаково распределены по стандартному нор мальному закону N (0, 1). Таким образом, ортонормированные преобразо вания случайных величин Y1,..., Yn не изменили их совместное распреде ление.

Теперь представим наши статистики Y и SY в терминах случайных ве личин Z1,..., Zn. Поскольку n n c1i Yi = Z1 = Yi, n i=1 i= то Y = Z1 / n. Далее, ортонормированное линейное преобразование со храняет сумму квадратов компонент преобразуемого вектора, то есть n n Yk2.

Zk = 1 Следовательно, статистика SY в новых переменных приобретает вид n n n SY 1 1 Z1 Yk2 2 Y = = Zk = Zk.

n n n n n 1 1 Итак, распределение Y совпадает с распределением Z1 / n, а распре деление SY – с распределением суммы квадратов n 1 независимых в совокупности и независящих от Z1 нормальных (0, 1) случайных величин.

Следовательно, Y и SY независимы, Y N (0, 1/n), SY 2 (см. лемму n 6.1), и “лемма Фишера” доказана.

Установив совместное распределение выборочного среднего и выбороч ной дисперсии в случае выбора из нормального распределения, мы можем приступить к построению доверительных интервалов для каждого из па раметров µ и при неизвестном значении другого параметра.

30. Верхняя доверительная граница для дисперсии нормаль ного распределения при неизвестном среднем. Эта граница на ходится наиболее просто, поскольку распределение опорной функции n (Xk X)2 n n n Xk µ 1 Xi µ nS (Yk Y ) = = = 2 2 n i= k= (2) есть хи-квадрат распределение с n 1 степенью свободы (см. теорему 6.1).

Следовательно, верхняя (1)-доверительная граница определяется кван тилью = Kn1 () хи-квадрат распределения – корнем уравнения P (nS 2 / 2 ) = 1 Kn1 () = 1, и доверительное утверждение 2 n = nS 2 /Kn1 () выполняется с за данной вероятностью 1.

40. Доверительный интервал для среднего значения нор мального распределения при неизвестной дисперсии. В этой задаче мы имеем дело с двусторонними доверительными границами (до верительным интервалом), и в соответствии с выбором опорной функции | X µ |/S, о которой мы говорили перед доказательством теоремы 6.1, нам потребуется знание вероятности события вида | X µ |/S.

В начале XIX века английский математик В.Госсет, писавший под псев донимом “Стьюдент” (Student), нашел распределение случайной величины T = / 2, где N (0, 1), а 2 – случайная величина, не завися щая от и распределенная по закону хи-квадрат с степенями свободы.

Естественно, его исследования были связаны с проблемами статистическо го вывода о среднем значении µ нормального распределения при неизвест ной дисперсии, и Стьюдент искал распределение опорной функции (см. (2)) в связи с переходом в записи опорной функции в терминах Xk к Yk ) n Yk X µ n n1= n 1, H= n S (Yk Y ) Xk µ N (0, 1), k = 1,..., n, Yk = которая отличается от выбранной нами опорной функции только множите лем n 1, и поэтому также может быть использована в построении дове рительного интервала для µ при неизвестном. То, что распределения Tn и H совпадают, следует из теоремы 6.1: случайная величина в числителе n n (Yk Y )2 2, разделив Yk / n N (0, 1) не зависит от = n 1 которую на значение степени свободы n 1, получаем с = n 1.

Найдем распределение случайной величины T, которое называется рас пределением Стьюдента с степенями свободы или t-распределением. Совместная функция плотности независимых случайных величин и = 2 равна x 1 1 y y /21 exp f (x, y) = exp, 2/2 (/2) 2 так что функция распределения случайной величины T S (t) = P ( / t) = t y/ f (x, y) dx dy = dy f (x, y) dx.

x yt Дифференцируя это выражение по t, находим функцию плотности распре деления Стьюдента s (t) = y/f (t y/, y) dy = t 1 y + 2 exp y 1+ dy = 2(+1)/2 (/2) 2 + 1 +1 t2 = 1+.

Вид полученной функции плотности говорит о том, что распределение Стьюдента можно трактовать как обобщение стандартного (a = 0, b = 1) распределения Коши C(a, b), которое получается из распределения Стью дента при числе степеней свободы = 1. Это симметричное распределение, и поэтому S (t) = 1 S (t), что позволяет нам довольно просто постро ить доверительный интервал для µ с помощью квантили распределения Sn1 (·) :

P (| Tn1 | t) = Sn1 (t) Sn1 (t) = 2Sn1 (t) 1 = 1, откуда t = S1 (1 /2), и (1 )-доверительный интервал для µ опре n деляется пределами X ± St / n 1.

Итак, мы построили доверительные пределы для параметров µ и 2 нор мального распределения. Таблицы нормального, хи-квадрат и стьюдент ского распределений, а также квантилей этих распределений, необходи мые для численной реализации доверительных оценок, смотрите в книге Большев Л.Н., Смирнов Н.В. Таблицы математической статистики, М.: На ука, 1983, которая в дальнейшем будет цитироваться как ТМС. Еще раз отметим, что возможность доверительной оценки этих параметров опре делялась, в основном, инвариантностью семейства нормальных распреде лений относительно линейной группы преобразований. Точно так же мы можем построить доверительные пределы для параметра показательно го распределения или для параметра масштаба гамма распределения при известном параметре формы;

мы вернемся к этим задачам позднее при об суждении проблемы оптимизации доверительной оценки. Что же касается других распределений, то здесь проблема осложняется отсутствием инва риантных опорных функций и невозможностью получить распределение оценок параметра, для которого строятся доверительные пределы, в явном виде. Тем не менее существует достаточно общий подход к данной пробле ме, основанный на асимптотической нормальности распределения оценок по методу моментов или методу максимального правдоподобия.

Пусть n = n (X (n) ) – асимптотически нормальная со средним и дис персией 2 ()/n оценка параметра (например, при определенных усло виях регулярности (см. теорему 4.2) оценка максимального правдоподобия асимптотически нормальна со средним и дисперсией [ nI() ]1 ). Тогда при n вероятность | n | 1, P n () при любом, если = 1 (1/2), и мы получаем асимптотически (1 )-доверительное множество | n | n (X (n) ) = : n.

() Если n есть интервал на прямой R, то мы решили задачу интерваль ной оценки параметра. Если же это некоторое вычурное и непригодное к употреблению подмножество R, то можно пойти на дальнейшие упро щения асимптотического утверждения, заменив в определении n пара метрическую функцию () на ее оценку (n ). Достаточно потребовать непрерывность функции (),, чтобы, ссылаясь на теорему Слуцко го (предложение 11.1 курса ТВ с n (n ) ()), утверждать, что при P n (n ) (n ) n n + 1.

P n n Проиллюстрируем “работу” этого метода на двух полезных в практиче ском отношении примерах.


50. Асимптотически доверительный интервал для вероят ности успеха в испытаниях Бернулли. В схеме испытаний Бернул ли – выборе из распределения бинарной случайной величины X, прини мающей значение 1 (“успех” ) с вероятностью p и значение 0 (“неудача” ) с вероятностью 1 p, оптимальной несмещенной оценкой p является вы n борочное среднее X = n1 Xk или, что то же, относительная частота успешных исходов в n испытаниях. Статистика nX имеет биномиальное распределение B(n, p), и это позволяет насчитать таблицы доверительных пределов для p при различных значениях доверительного уровня 1, объема выборки n и числа успешных исходов nx (см., например, ТМС).

Что же дает асимптотический подход к построению доверительных интер валов?

Выборочное среднее асимптотически нормально со средним p и диспер сией p(1 p)/n. Следовательно, (1 )-доверительная область 1, | X p | p(1 p)/n.

n = p : 0 p Разрешая неравенства в фигурных скобках относительно p, получаем до верительный интервал 2 X(1 X) n X + ± + 2, n + 2 2n n 4n который при больших объемах испытаний n мало отличается от довери тельного интервала X(1 X) X ±, n полученного заменой 2 (p) = p(1 p) на ее оценку X(1 X) :

60. Асимптотически доверительный интервал для парамет ра интенсивности распределения Пуассона. Распределение Пуас сона P() с функцией плотности (по считающей мере) f (x | ) = P (X = x) = x e /x!, x = 0, 1, 2,..., индексируется положительным параметром, оптимальная несмещенная оценка которого по выборке X (n) объема n, как и в предыдущем примере, определяется выборочным средним X. Для распределения Пуассона также справедлива теорема сложения: nX P(n), и на основе этого можно построить точные доверительные пределы для, таблица которых имеется в упомянутом сборнике ТМС. Но оценка X асимптотически нормальна (, /n), что позволяет определить асимптотически доверительную область n = { : 0, | X | /n}.

Решение неравенств в фигурных скобках относительно дает асимптоти чески доверительный интервал 2 X X + ± + 2.

2n n 4n Наконец, заменяя 2 () = ее оценкой X, получаем также асимптотиче ски доверительный, но, как показывают числовые расчеты, менее точный интервал X ± X/n.

На этом мы заканчиваем изложение простейших методов построения до верительных и асимптотически доверительных интервалов на основе под бора опорных функций. О проблеме оптимального интервального оценива ния мы поговорим позднее, изучив теорию оптимальной проверки гипотез – высказываний о возможных значениях параметра. Оставшиеся лекции будут посвящены именно этой теории.

§7. Статистическая проверка гипотез (критерии значимости) Лекция В приложениях математической статистики существует обширный класс задач, в которых требуется проверить истинность некоторого высказыва ния относительно исследуемого объекта или выбрать одно из альтерна тивных решений, которое определит дальнейшее поведение статистика по отношению к этому объекту. Например, при аттестации партии дизельного топлива по общему содержанию серы мы должны не только дать точечную оценку данной характеристики топлива, но и принять решение о качестве выпускаемого продукта, которое повлечет за собой одно из следующих дей ствий – или отослать топливо потребителю, или произвести дополнитель ную очистку топлива от вредных примесей. Точно так же в примере 1.2 мы строили статистическое правило, позволяющее принять одно из двух реше ний относительно нового лечебного препарата – или признать его эффек тивным и внедрить в лечебную практику, или запретить его дальнейшее использование. В исследованиях, подобных опытам Менделя, часто надо проверить гипотезу относительно предполагаемого значения вероятности наследования доминантного признака. Селекционер, работающий над по лучением нового вида пшеницы, должен подкрепить свое заключение о превосходстве нового вида над тем, который уже используется в сельско хозяйственной практике, с помощью сопоставления данных об урожайно сти этих видов. И так далее, и тому подобное, – вы сами можете привести примеры таких задач по выбору одного из ряда альтернативных решений.

В нашем курсе математической статистики мы рассмотрим задачи, свя занные только с выбором одного из двух решений. Пусть мы высказываем некоторое суждение (или предпринимаем действие) об исследуемом объ екте, и пусть d0 – решение об истинности этого суждения, в то время как d1 – решение о его ложности. Таким образом, пространство решений D в данной статистической проблеме состоит из точек: D = {d0, d1 }.

Для выбора одного из решений мы наблюдаем случайную выборку X (n) из некоторого распределения P, значение параметра которого нам неиз вестно. Пусть – область возможных значений, которую мы назвали параметрическим пространством. В соответствии с принятой нами в § идеологией статистического вывода мы сопоставляем каждому решению d D определенное подмножество d пространства, то есть интерпре тируем каждое решение в терминах высказываний об истинном значении параметра. В нашей статистической проблеме выбора одного из двух ре шений положим i = di, i = 0, 1, и введем ряд понятий и определений, используемых при решении этой проблемы.

Утверждение H0 : 0 называется нулевой гипотезой, а утвержде ние H1 : 1 – альтернативной гипотезой или (коротко) альтерна тивой. Гипотеза Hi называется простой, если соответствующее i состоит из одной точки параметрического пространства ;

в противном случае Hi называется сложной гипотезой;

i = 0, 1. Так, в примере 1.2 с испытани ем нового лечебного препарата параметр означал вероятность успешного лечения каждого пациента, и нулевая гипотеза H0 : = 1/2 о “нейтраль ности” препарата есть простая гипотеза, в то время как альтернативная гипотеза H1 : 1/2 об его эффективности – сложная гипотеза.

Правило, по которому принимается или отвергается нулевая гипотеза H0, называется критерием. Иногда добавляется – критерий согласия (с нулевой гипотезой), особенно, когда альтернатива H1 определена не совсем четко и под H1 подразумевается “все остальное”. В случае полного равно правия гипотез говорят о критерии различения гипотез. Критерий опре деляется заданием особого подмножества S выборочного пространства Xn, которое называется критической областью: если выборочные данные x(n) попадают в эту область, то нулевая гипотеза H0 отклоняется и принимается альтернативное решение – справедлива H1. Область A = S c = Xn \ S на зывается областью принятия нулевой гипотезы. Нам будет удобно прово дить спецификацию критической области в виде ее индикаторной функции = (X (n) ), которая называется критической функцией или, поскольку она определяет статистическое правило проверки гипотезы, просто крите рием. Итак, функция (X (n) ) есть бинарная случайная величина, прини мающая значение 1, если произошло событие X (n) S, и значение 0, если произошло противоположное событие X (n) A. Понятно, что математиче ское ожидание E(X (n) ) означает вероятность отклонения гипотезы H0.

В рассматриваемой статистической проблеме величина риска, связанная с отклонением верной гипотезы, обычно соотносится с функцией потерь ти па 1 – 0: потери считаются равными 1, если принята гипотеза Hi, а в дей ствительности 1i, i = 0, 1;

если же принята Hi и i, i = 0, 1, то потери полагаются равными нулю. Легко видеть, что величина риска при любом значении параметра может быть определена с помощью функции m() = E (X (n) ) = P (X (n) S), которая называется функцией мощно сти критерия. Эта функция указывает, как часто мы отклоняем нулевую гипотезу, когда – истинное значение параметра, и хорошим следует счи тать тот критерий, у которого функция m() принимает близкие к нулю значения в области 0 и близкие к единице – в области 1. В связи с этим вводятся две компоненты функции риска: () = m() при и () = 1 m() при 1. Функция (), 0 называется веро ятностью ошибки первого рода – она указывает относительную частоту отклонения гипотезы H0, когда она в действительности верна ( 0 ).

Функция (), 1 называется вероятностью ошибки второго рода – она указывает относительную частоту принятия гипотезы H0, когда она ложна (верна альтернативная гипотеза H1 : 1 ). Заметим, что функ ция мощности m() в области 1 трактуется как вероятность отклонения гипотезы H0, когда в действительности выбор идет из распределения с альтернативным значением 1, и поэтому часть m() при 1 на зывается мощностью критерия.

Легко понять, что при фиксированном объеме наблюдений n невозмож но одновременно минимизировать вероятности обеих ошибок, – для умень шения вероятности ошибки первого рода () = P (X (n) S), 0, необходимо уменьшить критическую область S, что приведет к увеличе нию области A принятия нулевой гипотезы и, следовательно, к увеличе нию вероятности ошибки второго рода (u) = Pu (X (n) A), u 1. Здесь возникает такая же ситуация, что и в проблеме построения оценки пара метра с равномерно минимальным риском, – такие оценки существуют только в определенном классе статистических правил, например, в клас се несмещенных оценок. Однако, даже и помимо задачи проверки гипотез с минимальной вероятностью ошибки, и намного раньше создания общей теории наиболее мощных критериев в статистической практике сложился следующий подход к управлению риском критерия.

Предположим, что отклонение гипотезы H0, когда она в действитель ности верна, приводит к более тяжким последствиям, чем ее принятие при справедливости альтернативы. В таком случае мы заинтересованы в первую очередь контролировать вероятность ошибки первого рода. С этой целью заранее фиксируется (выбирается) некоторый уровень, выше ко торого вероятность ошибки первого рода не допустима, и критическая об ласть S (критерий ) определяется таким образом, что (), каково бы ни было 0. Это ограничение на вероятность ошибки первого рода называется уровнем значимости, а сам критерий, для которого вы полняется это ограничение, – критерием уровня. Наибольшее значение вероятности ошибки первого рода = sup () называется размером критерия, и если =, то говорят о критерии размера.

В этом выборе ограничения именно на вероятность ошибки первого, а не второго рода проявляется типичная асимметрия в практической ценности гипотезы и альтернативы. Например, если проверяется эффективность но вого лекарственного препарата, то нулевой гипотезе должно соответство вать решение о его неэффективности, ибо, отклонив эту гипотезу, когда она верна, мы внедрим в лечебную практику бесполезное или вредное ле карство, что приведет к более тяжким последствиям, чем отклонение в действительности эффективного препарата. Но если мы ищем золото, ана лизируя состав кернов при бурении предполагаемого месторождения, то естественно принять за нулевую гипотезу утверждение о наличии золота, ибо отклонив ее, когда она верна, мы потеряем намного больше, чем стои мость нескольких дополнительных анализов, удостоверяющих, что золото в разбуренной местности отсутствует.

Следует также обратить особое внимание на общую методологию про верки гипотез, отражаемую в выборе малого значения уровня. Если наши выборочные данные попадают в область S с исключительно малой вероят ностью, то естественно предположить, что то утверждение, которое приве ло к этому маловероятному событию, не соответствует истине и отклонить его. Поступая таким образом, мы будем терять в действительности верную гипотезу H0 крайне редко – не более, чем в 100% случаев.

Простейший метод построения критериев значимости состоит в исполь зовании состоятельных оценок тестируемого параметра. Рассмотрим про стейший случай: – скалярный параметр, вероятностная модель не со держит других (мешающих) параметров и проверяется простая гипотеза H0 : = 0 при альтернативе H1 : = 0, где 0 – некоторое, априори фиксированное значение параметра (например, в опытах Менделя прове ряется гипотеза: вероятность наследования доминантного признака равна 0 = 3/4). Если n = n (X (n) ) – состоятельная оценка, дисперсия которой стремится к нулю при n как O(1/ n), то естественно определить критическую область посредством неравенства n| n (X (n) ) 0 | C. Ве роятность ошибки первого рода такого критерия (0, C) = P ( n| n (X (n) ) 0 | C), и приравнивая эту вероятность заданному уровню значимости, находим критическую константу C = C() как квантиль распределения случай ной величины n| n (X (n) ) 0 |;

такой выбор C приводит к критерию уровня. Если (= 0 ) – некоторое альтернативное значение параметра, то, в силу состоятельности оценки, n| n (X (n) ) 0 |, и поэтому ве P роятность ошибки второго рода () = P ( n| n (X (n) ) 0 | C()) 0, когда n. Таким образом, мы получаем критерий заданного уровня, обладающий к тому же свойством состоятельности – его вероятность ошибки второго рода стремится к нулю при неограниченном возрастании объема выборки n.

Сформулируем теперь основную задачу теории статистической провер ки гипотез: требуется найти такой критерий уровня, который рав номерно по всем 1 максимизирует мощность m() или, что то же, равномерно по 1 минимизирует вероятность ошибки второго рода (). Мы укажем метод построения таких равномерно наиболее мощных критериев заданного уровня в следующем параграфе, а пока обратимся к иллюстрациям введенных понятий и построению наиболее часто исполь зуемых на практике критериев, касающихся проверки гипотез о значениях параметров нормального распределения.

10. Проверка гипотезы о величине среднего значения нор мального распределения при известной дисперсии. Рассмотрим сначала наиболее часто встречающуюся в практических применениях ма тематической статистики задачу проверки сложной гипотезы H0 : µ µ при сложной альтернативе H1 : µ µ0 о среднем значении µ нормального (µ, 2 ) распределения при известном значении дисперсии 2. Выборочное n среднее X = n1 Xk есть оптимальная оценка неизвестного значения µ, и поэтому, в соответствии с только что предложенным методом постро ения состоятельных критериев, рассмотрим критерий, отвергающий нуле вую гипотезу H0, когда n(X µ0 ) C, или, что то же, X C, поскольку значения µ0 и n фиксированы и известны. Постоянная C должна выбирать ся по заданному уровню значимости, ограничивающему максимальное значение вероятности ошибки первого рода.

Так как при выборе из нормального (µ, 2 ) распределения статистика X N (µ, 2 /n), то функция мощности этого критерия C µ µ C m(µ) = Pµ (X C) = 1 n = n.

Легко видеть, что m(µ) – строго возрастает с ростом µ, так что размер критерия C µ = max m(µ) = m(µ0 ) = 1 n.

µ µ Приравнивая размер критерия уровню значимости, находим критическое значение C() = µ0 + 1 (1 )/ n.

Вероятность ошибки второго рода нашего критерия размера C() µ (µ) = Pµ (X C()) = n= µ0 µ n + 1 (1 ), µ µ0, (1) убывает с ростом µ по мере ее отхода от граничного значения µ0. Наи большее значение (µ) достигается в точке µ = µ0 и равно 1. Это значение не зависит от размера выборки n, и поэтому требуются дополни тельные соображения при планировании объема наблюдений. Обычно ис пользуется метод введения так называемой зоны безразличия – интервала (µ0, µ1 ), который выбирается из тех соображений, что при истинном зна чении µ (µ0, µ1 ) принятие нулевой гипотезы H0 не приводит к слишком тяжелым последствиям. Однако при истинном µ µ1 вероятность приня тия H0 должна быть под контролем и не превосходить некоторого пред писанного значения. Это обстоятельство позволяет спланировать объем выборки n, определив его из неравенства (µ1 ). Используя формулу (1) для (µ), находим, что объем выборки n = n(,, µ0, µ1 ), необходимый для различения гипотез µ µ0 и µ µ1 с заданными ограничениями и на вероятности ошибок первого и второго рода, равен наименьшему целому n, удовлетворяющему неравенству 1 (1 ) + 1 (1 ) 2.

n (µ1 µ0 ) Аналогичным методом строится критерий для проверки простой гипо тезы H0 : µ = µ0 при сложной альтернативе H1 : µ = µ0. В этой зада че естественно определить критическую область посредством неравенства | X µ0 | C. Функция мощности такого критерия C + µ0 µ C + µ0 µ m(µ) = 1 n n строго убывает при µ µ0, возрастает при µ µ0 и при µ = µ0 равна вероятности ошибки первого рода. Таким образом, критическая константа C = C() определяется по заданному уровню значимости из уравнения C C C m(µ0 ) = 1 n =2 n n =, откуда C() = 1 (1 /2)/ n.

Лекция 20. Проверка гипотезы о величине дисперсии нормального распределения при неизвестном среднем значении. Это типич ная задача контроля за величиной случайной ошибки в параллельных на блюдениях некоторой характеристики исследуемого объекта. Так как пре вышение характеристики случайной погрешности над некоторым номи налом 0 в случае, когда мы утверждаем 0, влечет более серьезные последствия, чем неоправданные претензии к слишком большому разбросу в данных, то следует принять за нулевую гипотезу 0. Проверка этой гипотезы проводится при естественной альтернативе H1 : 0, при чем мы не знаем значения мешающего параметра µ – среднего значения нормального распределения, из которого производится выбор.

n (Xk X)2 есть Как нам известно, выборочная дисперсия S 2 = n состоятельная оценка 2, ее распределение не зависит от µ, а случайная величина nS 2 / 2 имеет хи-квадрат распределение с n1 степенью свободы.

Таким образом, разумно рассмотреть критерий с критической областью nS 2 C. Функция мощности такого критерия nS 2 C C m() = Pµ, = Kn 2 2 монотонно убывает с ростом, поэтому наибольшее значение вероятности ошибки первого рода достигается при = 0, и критическое значение C() критерия требуемого размера определяется из уравнения Kn1 C0 = 2. Итак, C() = 0 Kn1 ();

вероятность ошибки второго рода 0 () = Pµ, nS C() = 1 Kn1 K (), 0, 2 n монотонно убывает по мере отхода истинного значения от номинала 0.

30. Проверка гипотезы о величине среднего значения нор мального распределения при неизвестной дисперсии (одно выборочный критерий Стьюдента). Вы, наверное, обратили внима ние, что при построении критериев значимости мы по существу использу ем методы построения доверительных множеств? Это, действительно, так – между задачами доверительной оценки и проверки гипотез существует много общего, и, решив одну задачу, мы сразу же получаем решение дру гой. В конце этого параграфа мы формализуем этот параллелизм, а пока будем использовать его на интуитивном уровне: предлагается использовать для проверки гипотез о среднем значении нормального распределения ста тистику Стьюдента.

Рассмотрим сначала задачу проверки сложной гипотезы H0 : µ µ при сложной альтернативе H1 : µ µ0. Так как выборочное среднее X есть состоятельная оценка значения µ, то статистика Стьюдента X µ n T= S опосредственно, через выборочные данные, характеризует удаленность ис тинного среднего значения µ от границы µ0, разделяющей гипотезу и аль тернативу. Поэтому предлагается отвергать нулевую гипотезу µ µ0, ес ли T C, выбирая C, как обычно, по заданному уровню значимости.

Для решения последней задачи необходимо исследовать поведение функ ции мощности m(µ;

) = Pµ, (T C) критерия T C. Если мы по кажем, что m(µ;

) есть монотонно возрастающая функция аргумента µ при любом фиксированном значении аргумента, то наибольшее значение вероятности ошибки первого рода (µ;

) = m(µ : ), µ µ0 при каж дом фиксированном будет достигаться в точке µ = µ0. Следовательно, размер критерия в таком случае будет равен (см. пункт 40 предыдущего параграфа) = m(µ0 ;

) = Pµ0, (T C) = 1 Sn1 (C), где S (·) – функция распределения Стьюдента с степенями свободы. Та ким образом, мы получим свободный от неизвестного значения крите рий T C() требуемого размера с критической константой C() = Sn1 (1 ). Это и есть то статистическое правило, которое обычно назы вается критерием Стьюдента или t-критерием.

Покажем теперь, что вероятность (функция мощности) Pµ, (T C) монотонно возрастает с ростом µ при любых фиксированных значениях и C. С этой целью представим статистику T в следующем виде:

X µ µ µ n1+ · n 1.



Pages:     | 1 |   ...   | 3 | 4 || 6 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.