Точечная оценка и ее свойства. Оценка математического ожидания и дисперсии по выборке
Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений
| (1) |
Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:
| (2) |
Покажем, что оценка является несмещенной:
Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что
где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .
Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.
Оценки математического дисперсии
На первый взгляд наиболее естественной оценкой представляется
| (3) |
где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :
Подставим в эту формулу выражение (2):
Найдем математическое ожидание оценки дисперсии:
| (4) |
Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.
| (5) | |
| при . | (6) |
Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.
Несмещенной
называется
статистическая оценка
параметра
,
математическое ожидание которой равно
оцениваемому параметру при любом объеме
выборки.
Смещенной
называется
статистическая оценка
параметра
,
математическое ожидание которой не
равно оцениваемому параметру.
Эффективной
называется
статистическая оценка
параметра
,
которая при заданном объеме выборки
имеет наименьшую дисперсию.
Состоятельной
называется статистическая оценка
параметра
,
которая при
стремится по вероятности к оцениваемому
параметру.
т.е.для
любого
.
Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.
Вычислим
математическое ожидание среднего
арифметического и дисперсии. Обозначим
через
математическое ожидание случайной
величины
Здесь
в качестве случайных величин
рассматриваются:
–
С.В., значения которой равны первым
значениям, полученным для различных
выборок объема
из генеральной совокупности,
–С.В.,
значения которой равны вторым значениям,
полученным для различных выборок объема
из генеральной совокупности, …,
–
С.В., значения которой равны
-м
значениям, полученным для различных
выборок объема
из генеральной совокупности. Все эти
случайные величины распределены по
одному и тому же закону и имеют одно и
то же математическое ожидание.
Из
формулы (1) следует, что среднее
арифметическое является несмещенной
оценкой математического ожидания, так
как математическое ожидание среднего
арифметического равно математическому
ожиданию случайной величины. Эта оценка
является также состоятельной. Эффективность
данной оценки зависит от вида распределения
случайной величины
.
Если, например,
распределена нормально, оценка
математического ожидания с помощью
среднего арифметического будет
эффективной.
Найдем теперь статистическую оценку дисперсии.
Выражение для статистической дисперсии можно преобразовать следующим образом
(2)
Найдем теперь математическое ожидание статистической дисперсии
.
(3)
Учитывая,
что
(4)
получим из (3)-
Из
формулы (6) видно, что математическое
ожидание статистической дисперсии
отличается множителем от дисперсии,
т.е. является смещенной оценкой дисперсии
генеральной совокупности. Это связано
с тем, что
вместо истинного значения
,
которое неизвестно, в оценке дисперсии
используется статистическое среднее
.
Поэтому введем исправленную статистическую дисперсию
(7)
Тогда математическое ожидание исправленной статистической дисперсии равно
т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.
Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:
- для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
- для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.
Когда оценка определяется одним числом, она называется точечной оценкой
. Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость
, эффективность
и состоятельность
.
Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.
В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.
Свойство несмещенности оценки
.
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки
.
Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:
Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия 
- смещенная оценка генеральной дисперсии D
. Несмещенной оценкой генеральной дисперсии является оценка
Свойство состоятельности оценки
.
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.
Определение
. Оценка 
называется состоятельной
, если она сходится по вероятности к оцениваемому параметру θ при n→∞.
Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.
Свойство эффективной оценки
.
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.
Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.
Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.
Пример №1
. Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.
| x | |x - x ср | | (x - x ср) 2 |
| 13 | 2 | 4 |
| 15 | 0 | 0 |
| 17 | 2 | 4 |
| 45 | 4 | 8 |
Простая средняя арифметическая (несмещенная оценка математического ожидания)
Дисперсия - характеризует меру разброса около ее среднего значения (мера рассеивания, т.е. отклонения от среднего - смещенная оценка).
Несмещенная оценка дисперсии - состоятельная оценка дисперсии (исправленная дисперсия).
Пример №2
. Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4
Пример №3
. Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200
Необходимость оценивания математического ожидания по результатам испытаний появляется в задачах, когда результат эксперимента описывается случайной величиной и показателем качества исследуемого объекта принято математическое ожидание этой случайной величины. Например, в качестве показателя надежности может быть принято математическое ожидание времени безотказной работы какой-либо системы, а при оценивании эффективности производства продукции - математическое ожидание числа годных изделий и т. д.
Задача оценивания математического ожидания формулируется следующим образом. Предположим, что для определения неизвестного значения случайной величины X предполагается произвести п независимых и свободных от систематических ошибок измерений X v Х 2 ,..., Х п. Требуется выбрать наилучшую оценку математического ожидания.
Наилучшей и наиболее распространенной на практике оценкой математического ожидания является среднее арифметическое результатов испытаний
называемое также статистическим или выборочным средним.
Покажем, что оценка т х удовлетворяет всем требованиям, предъявляемым к оценке любого параметра.
1. Из выражения (5.10) следует, что
т. е. оценка т" х - несмещенная оценка.
2. Согласно теореме Чебышева среднее арифметическое результатов испытаний сходится по вероятности к математическому ожиданию, т. е.
Следовательно, оценка (5.10) есть состоятельная оценка математического ожидания.
3. Дисперсия оценки т х, равная
с ростом объема выборки п неограниченно убывает. Доказано, что если случайная величина X подчинена нормальному закону распределения, то при любом п дисперсия (5.11) будет минимально возможной, а оценка т х - эффективной оценкой математического ожидания. Знание дисперсии оценки позволяет вынести суждение относительно точности определения неизвестного значения математического ожидания с помощью этой оценки.
В качестве оценки математического ожидания среднее арифметическое используется в том случае, если результаты измерений равноточные (дисперсии D, i = 1, 2, ..., п одинаковы в каждом измерении). Однако на практике приходится сталкиваться с задачами, в которых результаты измерений неравноточные (например, в процессе испытаний измерения производятся различными приборами). В этом случае оценка для математического ожидания имеет вид
где
- вес г-го измерения.
В формулу (5.12) результат каждого измерения включается со своим весом С .. Поэтому оценку результатов измерений т х называют средневзвешенной.
Можно показать, что оценка (5.12) является несмещенной, состоятельной и эффективной оценкой математического ожидания. Минимальная дисперсия оценки определяется выражением
При проведении экспериментов с моделями на ЭВМ подобные задачи возникают в том случае, когда оценки находят по результатам нескольких серий испытаний и число испытаний в каждой серии различно. Например, проведены две серии испытаний объемом п 1 и п 2 , по результатам которых получены оценки т хi и т х _. С целью повышения точности и достоверности определения математического ожидания результаты этих серий испытаний объединяют. Для этого следует воспользоваться выражением (5.12)
При вычислении коэффициентов С вместо дисперсий D подставляют их оценки, полученные по результатам испытаний в каждой серии.
Аналогичный подход используют и при определении вероятности наступления случайного события по результатам серий испытаний.
Для оценивания математического ожидания случайной величины X, кроме выборочного среднего, могут использоваться и другие статистики. Чаще всего для этих целей используют члены вариационного ряда, т. е. порядковые статистики , на базе которых строят оценки,
удовлетворяющие основным из предъявляемых требований, а именно состоятельности и несмещенности.
Предположим, что вариационный ряд содержит п = 2к членов. Тогда в качестве оценки математического ожидания может быть принято любое из средних:
При этом к-е среднее
есть не что иное, как статистическая медиана распределения случайной величины X, поскольку имеет место очевидное равенство
Преимущество статистической медианы состоит в том, что она свободна от влияния аномальных результатов наблюдений, неизбежного при использовании первого среднего, т. е. среднего из наименьшего и наибольшего числа вариационного ряда.
При нечетном объеме выборки п = 2к - 1 статистической медианой является ее средний элемент, т. е. к -й член вариационного ряда Me = х к.
Существуют распределения, у которых среднее арифметическое не является эффективной оценкой математического ожидания, например, распределение Лапласа. Можно показать, что для распределения Лапласа эффективной оценкой математического ожидания является выборочная медиана.
Доказано, что если случайная величина X имеет нормальное распределение, то при достаточно большом объеме выборки закон распределения статистической медианы близок к нормальному с числовыми характеристиками
Из сравнения формул (5.11) и (5.14) следует, что дисперсия статистической медианы в 1,57 раза больше дисперсии среднего арифметического. Следовательно, среднее арифметическое как оценка математического ожидания во столько же раз эффективнее статистической медианы. Однако из-за простоты вычислений, нечувствительности к аномальным результатам измерений (“засоренности” выборки) на практике в качестве оценки математического ожидания тем не менее используют статистическую медиану.
Следует отметить, что для непрерывных симметричных распределений математическое ожидание и медиана совпадают. Поэтому статистическая медиана может служить хорошей оценкой математического ожидания лишь при симметричном распределении случайной величины.
Для несимметричных распределений статистическая медиана Me имеет существенное смещение относительно математического ожидания, поэтому для его оценивания непригодна.
Оценки математического ожидания и дисперсии.
С понятием параметров распределения мы познакомились в теории вероятностей. Например, в нормальном законе распределения, задаваемом функцией плотности вероятности
параметрами служат а – математическое ожидание и а – среднее квадратическое отклонение. В распределении Пуассона параметром является число а = пр.
Определение. Статистической оценкой неизвестного параметра теоретического распределения называют его приближенное значение, зависящее от данных выборки (х 1 , х 2 , х 3 , ..., х k ; п 1 , п 2 , п 3 , ..., п k ), т. е. некоторую функцию этих величин.
Здесь х 1 , х 2 , х 3 , ..., х k – значения признака, п 1 , п 2 , п 3 , ..., п k –соответствующие частоты. Статистическая оценка является случайной величиной.
Обозначим через θ – оцениваемый параметр, а через θ * – его статистическую оценку. Величину |θ *–θ | называют точностью оценки. Чем меньше |θ *–θ |, тем лучше, точнее определен неизвестный параметр.
Чтобы оценка θ * имела практическое значение, она не должна содержать систематической ошибки и вместе с тем иметь возможно меньшую дисперсию. Кроме того, при увеличении объема выборки вероятность сколь угодно малых отклонений |θ *–θ | должна быть близка к 1.
Сформулируем следующие определения.
1. Оценка параметра называется несмещенной, если ее математическое ожидание М (θ *) равно оцениваемому параметру θ , т. е.
М (θ *) = θ, (1)
и смещенной, если
М (θ *) ≠ θ, (2)
2. Оценка θ* называется состоятельной, если при любом δ > 0
(3)
Равенство (3) читается так: оценка θ * сходится по вероятности к θ .
3. Оценка θ* называется эффективной, если при заданном п она имеет наименьшую дисперсию.
Теорема 1. Выборочная средняя Х В является несмещенной и состоятельной оценкой математического ожидания.
Доказательство. Пусть выборка репрезентативна, т. е.. все элементы генеральной совокупности имеют одинаковую возможность попасть в выборку. Значения признака х 1 , х 2 , х 3 ,...,х n можно принять за независимые случайные величины Х 1 , Х 2 , Х 3 , ...,Х n с одинаковыми распределениями и числовыми характеристиками, в том числе с равными математическими ожиданиями, равными а,
Так как каждая из величин Х 1 , Х 2 , Х 3 , …, Х п имеет распределение, совпадающее с распределением генеральной совокупности, то М (Х ) = а. Поэтому
откуда следует, что – состоятельная оценка М (Х ).
Используя правило исследования на экстремум, можно доказать, что является и эффективной оценкой М (Х ).
