Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

• для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
• для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.

Когда оценка определяется одним числом, она называется точечной оценкой . Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость , эффективность и состоятельность .

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

Свойство несмещенности оценки .
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки .

Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия - смещенная оценка генеральной дисперсии D . Несмещенной оценкой генеральной дисперсии является оценка

Свойство состоятельности оценки .
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.

Определение . Оценка называется состоятельной , если она сходится по вероятности к оцениваемому параметру θ при n→∞.

Свойство эффективной оценки .
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

Пример №1 . Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.

Пример №2 . Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4

Пример №3 . Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200

1. Понятие об оценке параметров генеральной совокупности. Свойства оценок: несмещенность, состоятельность, эффективность.

Сформулируем задачу оценки параметров в общем виде . Пусть распределение признака Х - генеральной совокупности - задается функцией вер-тей (для дискретной СВ Х) или плотностью вер-ти
(для непрерывной СВ Х), к-ая содержит неизвестный параметр. Напр, это параметр λ в распределении Пуассона или параметры а и
для нормального закона распределения и т.д.

Для вычисления параметра исследовать все элементы генеральной совокупности не представляется возможным. Поэтому о параметрепытаются судить по выборке, состоящей из значений (вариантов)
. Эти значения можно рассматривать как частные значения (реализации) n независимых случайных величин
каждая из к-ых имеет тот же закон распределения, что и сама СВ Х.

Определение . Оценкой параметраназывают всякую функцию результатов наблюдений над СВ Х (иначе - статистику), с помощью к-ой судят о значении параметра:

.

Поскольку
- случайные величины, то и оценка(в отличие от оцениваемого параметра- величины неслучайной, детерминированной) является случайной величиной, зависящей от закона распределения СВ Х и числа n.

О качестве оценки следует судить не по индивидуальным ее значениям, а лишь по распределению ее значений в большой сети испытаний, т.е. по выборочному распределению оценки.

Если значения оценки концентрируются около истинного значения параметра, т.е. основная часть массы выборочного распределения оценки сосредоточена в малой окрестности оцениваемого параметра, то с большой вер-тью можно считать, что оценкаотличается от параметралишь на малую величину. Поэтому, чтобы значениебыло близко к, надо, очевидно, потребовать, чтобы рассеяние случайной величиныотносительно, выражаемое, например, матем-ким ожиданием квадрата отклонения оценки от оцениваемого параметра
, было по возможности меньшим. Таково основное условие, к-му должна удовлетворять «наилучшая» оценка.

Свойства оценок.

Определение . Оценка параметраназываетсянесмещенной , если ее мат-кое ожидание равно оцениваемому параметру, т.е.
.

в противном случае оценка называется смещенной .

Если это равенство не выполняется, то оценка , полученная по разным выборкам, будет в среднем либо завышать значение(если
, либо занижать его (если
). Требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Если при конечном объеме выборки n
, т.е. смещение оценки
, но
, то такая оценканазываетсяасимптотически несмещенной .

Определение . Оценка параметраназываетсясостоятельной , если она удовлетворяет закону больших чисел, т.е. сходится по вер-ти к оцениваемому параметру:

, или .

В случае использования состоятельных оценок оправдывается увеличение объема выборки, т.к. при этом становятся маловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки. Если оценка состоятельна, то практически достоверно, что при достаточно большом n
.

Если оценка параметраявляется несмещенной, а ее дисперсия
при n → ∞, то оценкаявляется и состоятельной. Это непосредственно вытекает из неравенства Чебышева:

.

Определение . Несмещенная оценка параметра сназываетсяэффективной , если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра , вычисленных по выборкам одного и того же объема n.

Т.к. для не смещенной оценки
есть ее дисперсия, то эф-ть являетсярешающим свойством , определяющим качество оценки.

Эффективность оценки определяют отношением: .

где и - соот-но дисперсии эффективной и данной оценок. Чем ближе е к 1, тем эффективнее оценка. Если е → 1 при n → ∞, то такая оценка называется асuмптотически эффективной.

Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

• · Выборочное среднее является состоятельной оценкой математического ожидания X i .
• · Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
• 2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Одним из основных требований при построении оценок является получение оценок с минимальной дисперсией или минимальным рассеянием (если они существуют). В связи с этим в математической статистике введено понятие эффективных оценок ,

Применительно к смещенным оценкам параметра сигнала оценка называется эффективной, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра I не превышает среднее значение квадрата отклонения любой другой оценки у, т. е. выполняется неравенство

Для несмещенной оценки рассеяние оценки совпадает с ее дисперсией следовательно, эффективная несмещенная оценка определяется как оценка с минимальной дисперсией.

С. Рао и Крамер независимо друг от друга получили выражения для нижних границ условных дисперсий и рассеяний оценок, которые являются дисперсиями и рассеяниями эффективных оценок при условии, что таковые существуют для данных параметров.

Приведем вывод этого выражения, полагая, что необходимые допущения справедливы.

Оценку параметра у представим в сокращенной записи где X - многомерная выборка из реализации на интервале времени

Усредним выражение

по всевозможным значениям многомерной выборки X, которая описывается условной плотностью вероятности Учитывая известное соотношение для производной натурального логарифма после усреднения получаем

В силу свойства нормировки плотности вероятности последнее слагаемое в (1.3.3) равно нулю. Интеграл от первого слагаемого представляет среднее значение оценки

С учетом последнего усредненное значение можно записать в виде

Левая часть этого выражения представляет собой среднее значение произведения двух случайных величин с конечными значениями первых двух моментов. При этих условиях для случайных величин справедливо известное из математической статистики неравенство Буняковского - Шварца

которое переходит в равенство, если случайные величины связаны детерминированной зависимостью . С учетом (1.3.6) из выражения (1.3.5) можно получить

Для несмещенных оценок и оценок с постоянным смещением дисперсия оценки удовлетворяет неравенству Рао-Крамера

Необходимо отметить, что во всех соотношениях усреднение производится по многомерной выборке наблюдаемых данных X (при непрерывной обработке - по всевозможным реализациям а

произшодные берутся в точке истинного значения оцениваемого параметра.

Знак равенства в выражениях (1,3.7) и (1-3.8) достигается только для эффективных оценок.

Применительно к выражению (1.3.7) рассмотрим условия, при которых неравенство обращается в равенство, т. е. оценка параметра является эффективной смещенной оценкойю Согласно (1.3.6) для этого необходимо, чтобы коэффициент взаимной корреляции между был равен единице, т. е. чтобы эти случайные функции были связаны детерминированной линейной зависимостью.

Действительно, представим производную логарифма функции правдоподобия в виде

где функция, которая не зависит от оценки у и выборки наблюдаемых данных, но может зависеть от оцениваемого параметра При подстановке (1.3.5) и (1.3.9) в неравенство (1.3.7) оно переходит в равенство. Однако представление производной логарифма функции правдоподобия в виде (1.3.9) возможно, если для оценки у выполняется условие достаточности (1.2.9), из которого следует, что

и, следовательно, если производная логарифма отношения правдоподобия линейно зависит от достаточной оценки, то коэффициент пропорциональности не зависит от выборки

Таким образом, для существования смещенной эффективной оценки необходимо выполнение двух условий: оценка должна быть достаточной (1.2.9) и должно выполняться соотношение (1.3.9). Аналогичные ограничения налагаются на существование эффективных несмещенных оценок, при которых в выражении (1.3.8) знак неравенства переходит в равенство.

Полученное выше выражение для нижней границы дисперсии смещенной оценки справедливо и для нижней границы рассеяния смещенной оценки, так как т. е.

Последнее неравенство переходит в равенство, если кроме условия достаточности оценки справедливо соотношение

где имеет тот же смысл, что и в выражении (1.3.9).

Формула (1.3.10) выводится аналогично (1.3.7), если в исходном выражении (1.3.2) вместо рассматривать

Из характера условий (1.2.9) и (1.3.9) видно, что эффективные оценки существуют только в весьма специфических случаях. Также следует отметить, что эффективная оценка обязательно принадлежит к классу достаточных оценок, в то время как достаточная оценка не обязательно будет эффективной.

Анализ выражения для дисперсии эффективной смешенной оценки 1.3.7) показывает, что могут существовать смещенные оценки, которые обеспечивают меньшую дисперсию оценки, чем несмещенные. Для этого необходимо, чтобы производная от смещения имела отрицательное значение и по абсолютной величине в точке истинного значения параметра была близка к единице.

Поскольку в большинстве случаев интерес представляет средний квадрат результирующей ошибки оценки (рассеяние), имеет смысл говорить и о среднем квадрате ошибки оценки, который для любой оценки ограничен снизу:

При этом для эффективных оценок имеет место знак равенства.

Нетрудно показать, что соотношения (1.3.10) и (1.3.12) совпадают, если выполняются соответственно условия (1.3.11) и (1.3.9). Действительно, подставив в числитель и знаменатель (1.3.10) значения, выраженные через функции получим (1.3.12).

Используя рассмотренные выше свойства эффективных оценок уточним их определение. Будем называть оценку у эффективной, если для нее либо выполняются условия (1.2.9) и (1.3.11), либо при заданном смещении она обладает дисперсией

или рассеянием

либо при нулевом смещении эта оценка имеет дисперсию

Отметим, что характеристики эффективной оценки (1.3.13) - (1.3.15) могут быть вычислены и для тех параметров, для которых эффективной оценки не существует. В этом случае величины (1.3.13) -(1.3.15) определяют нижнюю границу (недостижимую) для соответствующих характеристик оценки.

Для сравнения реальных оценок с эффективными в математической статистике введено понятие относительной эффективности оценок, представляющее отношение среднего квадрата отклонения эффективной оценки относительно истинного значения параметра к среднему квадрату отклонения реальной оценки относительно истинного значения параметра:

Здесь у - реальная оценка, эффективность которой равна эффективная оценка.

Из определения дисперсии эффективной оценки (1.3.1) видно, что относительная эффективность оценки изменяется в пределах

Кроме понятия эффективных оценок существует понятие асимптотически эффективных оценок. При этом предполагается, что для достаточно большого времени наблюдения или неограниченного увеличения отношения сигнал/помеха предельное значение относительной эффективности реальной оценки равно единице. Это означает, что при асимптотически эффективной оценке дисперсия оценки для заданного смещения определяется выражением (1.3.13), а при отсутствии смещения - выражением (1.3.15).

Тема 7. Статистические оценки параметров распределения: точечные и интервальные оценки

Смысл статистических методов заключается в том, чтобы по выборке ограниченного объема, то есть по некоторой части генеральной совокупности, высказать обоснованное суждение о ее свойствах целиком.

Естественно, что замена исследования генеральной совокупно­сти исследованием выборки порождает ряд вопросов:

1. В какой степени выборка отражает свойства генеральной совокупности, т. е. в какой степени выборка репрезентативна по отношению к генеральной совокупности?

2. Какую информацию о значениях параметров генеральной совокупности могут дать параметры выборки?

3. Можно ли утверждать, что полученные выборочным путем статистические характеристики (средние величины, дисперсия или любые другие производные величины) равны тем характе­ристикам, которые могут быть получены из генеральной сово­купности.

Проверка показывает, что значения параметров, полученных для разных выборок из одной генеральной совокупности, обыч­но не совпадают. Рассчитанные выборочным путем числовые значения параметров выборок являются лишь результатом при­ближенного статистического оценивания значений этих парамет­ров в генеральной совокупности. Статистическое оценивание, в силу изменчивости наблюдаемых явлений, позволяет получать только их приближенные значения.

Примечание. Строго говоря, в статистике оценка - это правило вычисления оцениваемого параметра, а термин оценить, т. е. провести оценивание, означает указать приближенное значе­ние.

Различают оценки точечные и оценки интервальные .

Точечная оценка параметров распределения

Пусть x 1 , x 2 , …, x n – выборка объема n из генеральной совокупности с функцией распределения F (x ).

Числовые характеристики этой выборки называются выборочными (эмпирическими ) числовыми характеристиками.

Отметим, что выборочные числовые характеристики являются характеристиками данной выборки, но не являются характеристиками распределения генеральной совокупности. Однако эти характеристики можно использовать для оценок параметров генеральной совокупности.

Точечной называют статистическую оценку, которая определяется одним числом.

Точечная оценка характеризуется свойствами: несмещенность, состоятельность и эффективность.

Несмещенной называют точечную оценку, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Точечная оценка называется состоятельной , если при неограниченном увеличении объема выборки (n ® ¥) она сходится по вероятности к истинному значению параметра, то есть стремится к истинному значению оцениваемого параметра генеральной совокупности.

Эффективной называют точечную оценку, которая (при заданном объеме выборки n ) имеет наименьшую возможную дисперсию, те есть гарантирует наименьшее отклонение выборочной оценки от такой же оценки генеральной совокупности..

В математической статистике показывается, что состоятельной, несмещенной оценкой генерального среднего значения а является выборочное средне:

где х i – варианта выборки, n i – частота варианты х i , – объем выборки.

Несмещенной оценкой генеральной дисперсии служит исправления выборочная дисперсия

,

Более удобна формула  .

Оценка s 2 для генеральной дисперсии является также и состоятельной, но не является эффективной. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

Итак, если дана выборка из распределения F (x ) случайной величины Х с неизвестным математическим ожиданием а и дисперсией s 2 , то для вычисления значений этих параметров мы имеем право пользоваться следующими приближенными формулами:

Точечные оценки имеют тот недостаток, что при малом объеме выборки могут значительно отличаться от оцениваемых параметров. Поэтому, чтобы получить представление о близости между параметром и его оценкой, в математической статистике вводятся, так называемые, интервальные оценки.

Доверительный интервал

Если при статистической обработке результатов требуется найти не только точечную оценку неизвестного параметра θ, но и охарактеризовать точность этой оценки, то находится доверительный интервал.

Доверительный интервал – это интервал, в котором заранее заданной доверительной вероятностью находится неизвестный параметр генеральной совокупности.

Доверительная вероятность – это вероятность, с которой неизвестный параметр генеральной совокупности принадлежит доверительному интервалу.

Длина доверительного интервала характеризует точность интервального оценивания и зависит от объема выборки и доверительной вероятности. При увеличении объема выборки длина доверит. интервала уменьшается (точность увеличивается), а при стремлении доверительной вероятности к 1 длина доверит. интервала увеличивается (точность уменьшается) Наряду с доверительной вероятностью р часто на практике используют уровень значимости α = 1 - p.

Обычно принимают р = 0,95 или (реже) 0,99. Эти вероятности признаны достаточными для уверенного суждения о генеральных параметрах на основании известных выборочных показателей.

Доверительный интервал для математического ожидания имеет вид: где S – СКО, - критическое значение распределения Стьюдента (Смотри ПРИЛОЖЕНИЕ 1 к Теме 7)