Точкова оцінка та її властивості. Оцінка математичного очікування та дисперсії за вибіркою
Нехай є випадкова величина Хз математичним очікуванням mта дисперсією D, при цьому обидва ці параметри невідомі. Над величиною Хзроблено Nнезалежних експериментів, в результаті яких було отримано сукупність Nчисельних результатів x 1 , x 2 , …, x N. В якості оцінки математичного очікування природно запропонувати середнє арифметичне значень, що спостерігаються.
| (1) |
Тут як x iрозглядаються конкретні значення (числа), отримані в результаті Nекспериментів. Якщо взяти інші (незалежні від попередніх) Nекспериментів, то, очевидно, ми отримаємо інше значення. Якщо взяти ще Nекспериментів, ми отримаємо ще одне нове значення . Позначимо через X iвипадкову величину, що є результатом i-го експерименту, тоді реалізаціями X iбудуть числа, одержані в результаті цих експериментів. Очевидно, що випадкова величина X iматиме таку ж щільність розподілу ймовірності, як і вихідна випадкова величина Х. Також вважаємо, що випадкові величини X iі X jє незалежними при i, не рівному j(Різні незалежні один щодо одного експерименти). Тому формулу (1) перепишемо в іншому (статистичному) вигляді:
| (2) |
Покажемо, що оцінка є незміщеною:
Таким чином, математичне очікування вибіркового середнього дорівнює справжньому математичному очікуванню випадкової величини m. Це досить передбачуваний та зрозумілий факт. Отже, за оцінку математичного очікування випадкової величини можна прийняти середнє вибіркове (2). Тепер постає питання: що відбувається з дисперсією оцінки математичного очікування зі збільшенням кількості експериментів? Аналітичні обчислення показують, що
де - дисперсія оцінки математичного очікування (2), а D- Справжня дисперсія випадкової величини X.
Зі сказаного вище, що зі зростанням N(кількості експериментів) дисперсія оцінки зменшується, тобто. що більше ми підсумовуємо незалежні реалізації, то ближче до математичного очікування ми отримаємо оцінку.
Оцінки математичної дисперсії
На перший погляд найбільш природною оцінкою є
| (3) |
де обчислюється за такою формулою (2). Перевіримо, чи є оцінка незміщеною. Формула (3) може бути записана наступним чином:
Підставимо у цю формулу вираз (2):
Знайдемо математичне очікування оцінки дисперсії:
| (4) |
Оскільки дисперсія випадкової величини залежить від цього, яке математичне очікування у випадкової величини, приймемо математичне очікування рівним 0, тобто. m = 0.
| (5) | |
| при . | (6) |
Для того, щоб статистичні оцінки давали хороше наближення параметрів, що оцінюються, вони повинні бути незміщені, ефективні і заможні.
Незміщеноюназивається статистична оцінка параметра 
, математичне очікування якої дорівнює параметру, що оцінюється при будь-якому обсязі вибірки.
Зміщеноюназивається статистична оцінка 
параметра 
, математичне очікування якої не дорівнює параметру, що оцінюється.
Ефективноюназивається статистична оцінка 
параметра 
, яка при заданому обсязі вибірки 
має найменшу дисперсію.
Заможноюназивається статистична оцінка 
параметра 
, яка при 
прагне ймовірності до оцінюваного параметра.
тобто для будь-якого 
.
Для вибірок різного обсягу виходять різні значення середньої арифметичної та статистичної дисперсії. Тому середня арифметична та статистична дисперсія є випадковими величинами, для яких існують математичне очікування та дисперсія.
Обчислимо математичне очікування середнього арифметичного та дисперсії. Позначимо через 
математичне очікування випадкової величини 
Тут як випадкові величини розглядаються: 
– С.В., значення якої дорівнюють першим значенням, отриманим для різних вибірок обсягу 
з генеральної сукупності,
-С.В., значення якої дорівнюють другим значенням, отриманим для різних вибірок обсягу 
з генеральної сукупності, …, 
- С.В., значення якої рівні 
-м значенням, отриманим для різних вибірок обсягу 
із генеральної сукупності. Всі ці випадкові величини розподілені за тим самим законом і мають те саме математичне очікування.
З формули (1) випливає, що середнє арифметичне є незміщеною оцінкою математичного очікування, оскільки математичне очікування середнього арифметичного дорівнює математичному очікуванню випадкової величини. Ця оцінка також є заможною. Ефективність цієї оцінки залежить від виду розподілу випадкової величини 
. Якщо, наприклад, 
розподілено нормально, оцінка математичного очікування за допомогою середнього арифметичного буде ефективною.
Знайдемо тепер статистичну оцінку дисперсії.
Вираз для статистичної дисперсії можна перетворити так
(2)
Знайдемо тепер математичне очікування статистичної дисперсії
.
(3)
Враховуючи що 
(4)
отримаємо з (3)-
З формули (6) видно, що математичне очікування статистичної дисперсії відрізняється множником дисперсії, тобто. є зміщеною оцінкою дисперсії генеральної сукупності. Це пов'язано з тим, що замість справжнього значення 
, яке невідомо, в оцінці дисперсії використовується статистичне середнє 
.
Тому введемо виправлену статистичну дисперсію
(7)
Тоді математичне очікування виправленої статистичної дисперсії одно
тобто. виправлена статистична дисперсія є незміщеною оцінкою дисперсії генеральної сукупності. Отримана оцінка також є заможною.
Розподіл випадкової величини (розподіл генеральної сукупності) характеризується зазвичай рядом числових характеристик:
- для нормального розподілу N(a, σ) - це математичне очікування a та середнє квадратичне відхилення σ ;
- для рівномірного розподілу R(a,b) - це межі інтервалу, в якому спостерігаються значення цієї випадкової величини.
Коли оцінка визначається одним числом, вона називається точковою оцінкою. Точкова оцінка як функція від вибірки є випадковою величиною і змінюється від вибірки до вибірки при повторному експерименті.
До точкових оцінок висувають вимоги, яким вони повинні задовольняти, щоб хоч у якомусь сенсі бути «доброякісними». Це незміщеність, ефективністьі спроможність.
Інтервальні оцінкивизначаються двома числами - кінцями інтервалу, який накриває параметр, що оцінюється. На відміну від точкових оцінок, які не дають уявлення про те, як далеко від них може знаходитися оцінюваний параметр, інтервальні оцінки дозволяють встановити точність та надійність оцінок.
Як точкові оцінки математичного очікування, дисперсії та середнього квадратичного відхилення використовують вибіркові характеристики відповідно вибіркове середнє, вибіркова дисперсія та вибіркове середнє квадратичне відхилення.
Властивість незміщеності оцінки.
Бажаною вимогою до оцінки є систематична помилка, тобто. при багаторазовому використанні замість параметра його оцінки середнє значення помилки наближення дорівнює нулю - це властивість незміщеності оцінки.
Визначення. Оцінка називається несмещенной , якщо її математичне очікування дорівнює істинному значенню параметра, що оцінюється:
Вибіркове середнє арифметичне є незміщеною оцінкою математичного очікування, а вибіркова дисперсія 
- Зміщена оцінка генеральної дисперсії D. Незміщеною оцінкою генеральної дисперсії є оцінка
Властивість спроможності оцінки.
Друга вимога до оцінки – її спроможність – означає покращення оцінки зі збільшенням обсягу вибірки.
Визначення. Оцінка 
називається заможною , якщо вона сходиться ймовірно до оцінюваного параметра θ при n→∞.
Східність за ймовірністю означає, що з великому обсязі вибірки ймовірність великих відхилень оцінки від справжнього значення мала.
Властивість ефективної оцінки.
Третя вимога дозволяє вибрати найкращу оцінку з кількох оцінок того самого параметра.
Визначення. Незміщена оцінка є ефективною, якщо вона має найменшу серед незміщених оцінок дисперсію.
Це означає, що ефективна оцінка має мінімальне розсіювання щодо справжнього значення параметра. Зауважимо, що ефективна оцінка існує який завжди, але із двох оцінок зазвичай можна вибрати ефективнішу, тобто. з меншою дисперсією. Наприклад, для невідомого параметра нормальної генеральної сукупності N(a,σ) як незміщену оцінку можна взяти і вибіркове середнє арифметичне, і вибіркову медіану. Але дисперсія вибіркової медіани приблизно 1.6 разу більше, ніж дисперсія середнього арифметичного. Тому ефективнішою оцінкою є вибіркове середнє арифметичне.
Приклад №1. Знайдіть незміщену оцінку дисперсії вимірів деякої випадкової величини одним приладом (без систематичних помилок), результати виміру якої (мм): 13,15,17.
Рішення. Таблиця до розрахунку показників.
| x | | x - x порівн | | (x - x ср) 2 |
| 13 | 2 | 4 |
| 15 | 0 | 0 |
| 17 | 2 | 4 |
| 45 | 4 | 8 |
Проста середня арифметична(Незміщена оцінка математичного очікування)
Дисперсія- характеризує міру розкиду біля її середнього значення (захід розсіювання, тобто відхилення від середнього - зміщена оцінка).
Незміщена оцінка дисперсії- Заможна оцінка дисперсії (виправлена дисперсія).
Приклад №2. Знайдіть незміщену оцінку математичного очікування вимірів деякої випадкової величини одним приладом (без систематичних помилок), результати виміру якої (мм): 4,5,8,9,11.
Рішення. m = (4+5+8+9+11)/5 = 7.4
Приклад №3. Знайдіть виправлену дисперсію S 2 для вибірки обсягу n=10, якщо вибіркова диспресія дорівнює D = 180.
Рішення. S 2 = n*D/(n-1) = 10*180/(10-1) = 200
Необхідність оцінювання математичного очікування за результатами випробувань з'являється у завданнях, коли результат експерименту описується випадковою величиною та показником якості досліджуваного об'єкта прийнято математичне очікування цієї випадкової величини. Наприклад, як показник надійності може бути прийнято математичне очікування часу безвідмовної роботи будь-якої системи, а при оцінюванні ефективності виробництва продукції - математичне очікування кількості придатних виробів і т.д.
Завдання оцінювання математичного очікування формулюється в такий спосіб. Припустимо, що для визначення невідомого значення випадкової величини X передбачається зробити незалежних і вільних від систематичних помилок вимірювань X v Х 2 ,..., Х п.Потрібно вибрати найкращу оцінку математичного очікування.
Найкращою та найбільш поширеною на практиці оцінкою математичного очікування є середнє арифметичне результатів випробувань
зване також статистичнимабо вибірковим середнім.
Покажемо, що оцінка т хзадовольняє всім вимогам до оцінки будь-якого параметра.
1. З виразу (5.10) випливає, що
тобто оцінка т" х- Незміщена оцінка.
2. Відповідно до теореми Чебишева середнє арифметичне результатів випробувань сходиться ймовірно до математичного очікування, тобто.
Отже, оцінка (5.10) є заможною оцінкою математичного очікування.
3. Дисперсія оцінки т х,рівна
зі зростанням обсягу вибірки п необмежено зменшується. Доведено, що якщо випадкова величина X підпорядкована нормальному закону розподілу, то за будь-якого пдисперсія (5.11) буде мінімально можливою, а оцінка т х- Ефективною оцінкою математичного очікування. Знання дисперсії оцінки дозволяє винести судження щодо точності визначення невідомого значення математичного очікування з допомогою цієї оцінки.
Як оцінка математичного очікування середнє арифметичне використовується у тому випадку, якщо результати вимірювань рівноточні (дисперсії D, i = 1, 2, ..., поднакові у кожному вимірі). Однак на практиці доводиться стикатися із завданнями, в яких результати вимірів нерівноточні (наприклад, у процесі випробувань виміри виробляються різними приладами). У цьому випадку оцінка для математичного очікування має вигляд
де 
- Вага г-го виміру.
У формулу (5.12) результат кожного виміру включається зі своєю вагою З.. Тому оцінку результатів вимірювань т хназивають середньозваженої.
Можна показати, що оцінка (5.12) є незміщеною, заможною та ефективною оцінкою математичного очікування. Мінімальна дисперсія оцінки визначається виразом
При проведенні експериментів з моделями на ЕОМ подібні завдання виникають у тому випадку, коли оцінки знаходять за результатами кількох серій випробувань та кількість випробувань у кожній серії по-різному. Наприклад, проведено дві серії випробувань обсягом п 1і п 2 , за результатами яких отримано оцінки тхi та т х _.З метою підвищення точності та достовірності визначення математичного очікування результати цих серій випробувань поєднують. Для цього слід скористатися виразом (5.12)
При обчисленні коефіцієнтів замість дисперсій D підставляють їх оцінки, отримані за результатами випробувань в кожній серії.
Аналогічний підхід використовують і при визначенні ймовірності настання випадкової подіїза результатами серій випробувань.
Для оцінювання математичного очікування випадкової величини X, крім середнього вибіркового, можуть використовуватися й інші статистики. Найчастіше для цих цілей використовують члени варіаційного ряду, Т. е. порядкові статистики , з урахуванням яких будують оцінки,
що задовольняють основним з вимог, що пред'являються, а саме спроможності і несмещенности.
Припустимо, що варіаційний ряд містить п = 2кчленів. Тоді в якості оцінки математичного очікування може бути прийнято будь-яке середнє:
При цьому до-есередня
є не що інше, як статистична медіана розподілу випадкової величини X, оскільки має очевидну рівність
Перевага статистичної медіани полягає в тому, що вона вільна від впливу аномальних результатів спостережень, неминучого при використанні першого середнього, тобто середнього з найменшого та найбільшого числаваріаційного ряду.
При непарному обсязі вибірки п = 2к- 1 статистичної медіаною є її середній елемент, тобто. до-й член варіаційного ряду Me = х до.
Існують розподіли, у яких середнє арифметичне не є ефективною оцінкою математичного очікування, наприклад, розподіл Лапласа. Можна показати, що для розподілу Лапласа ефективною оцінкою математичного очікування вибіркова медіана.
Доведено, що якщо випадкова величина X має нормальний розподіл, то за досить великого обсягу вибірки закон розподілу статистичної медіани близький до нормального з числовими характеристиками
З порівняння формул (5.11) і (5.14) випливає, що дисперсія статистичної медіани в 1,57 рази більша за дисперсію середнього арифметичного. Отже, середнє арифметичне як оцінка математичного очікування в стільки ж ефективніше статистичної медіани. Однак через простоту обчислень, нечутливість до аномальних результатів вимірювань (“забур'яненості” вибірки) на практиці як оцінку математичного очікування, проте використовують статистичну медіану.
Слід зазначити, що з безперервних симетричних розподілів математичне очікування і медіана збігаються. Тому статистична медіана може бути хорошою оцінкою математичного очікування лише за симетричному розподілі випадкової величини.
Для несиметричних розподілів статистична медіана Meмає суттєве усунення щодо математичного очікування, тому його оцінювання непридатна.
Оцінки математичного очікування та дисперсії.
З поняттям параметрів розподілу ми познайомилися теоретично ймовірностей. Наприклад, у нормальному законі розподілу, що задається функцією щільності ймовірності
параметрами служать а– математичне очікування та а- Середнє квадратичне відхилення. У розподілі Пуассона параметром є число а = ін.
Визначення. Статистичною оцінкою невідомого параметра теоретичного розподілу називають його наближене значення, що залежить від даних вибірки(х 1, х 2, х 3,..., х k; п 1 , п 2 , п 3..., п k), Т. е. деяку функцію цих величин.
Тут х 1, х 2, х 3,..., х k- Значення ознаки, п 1 , п 2 , п 3..., п k-Відповідні частоти. Статистична оцінка є випадковою величиною.
Позначимо через θ – оцінюваний параметр, а через θ * - Його статистичну оцінку. Величину | θ *–θ | називають точністю оцінки.Що менше | θ *–θ |, краще, точніше визначено невідомий параметр.
Щоб оцінка θ * мала практичне значення, вона повинна містити систематичної помилки і водночас мати можливо меншу дисперсію. Крім того, при збільшенні обсягу вибірки ймовірність скільки завгодно малих відхилень | θ *–θ | має бути близька до 1.
Сформулюємо такі визначення.
1. Оцінка параметра називається незміщеною, якщо її математичне очікування М(θ *) дорівнює параметру θ, що оцінюється, тобто.
М(θ *) = θ, (1)
і зміщеною, якщо
М(θ *) ≠ θ, (2)
2. Оцінка θ* називається заможною, якщо за будь-якого δ > 0
(3)
Рівність (3) читається так: оцінка θ * сходиться по ймовірності до θ .
3. Оцінка θ* називається ефективною, якщо за заданого п вона має найменшу дисперсію.
Теорема 1.Вибіркова середня Х В є незміщеною та заможною оцінкою математичного очікування.
Доведення. Нехай вибірка репрезентативна, тобто всі елементи генеральної сукупності мають однакову можливість потрапити у вибірку. Значення ознаки х 1, х 2, х 3, ..., х nможна прийняти за незалежні випадкові величини Х 1, Х 2, Х 3, ..., Х nз однаковими розподілами та числовими характеристиками, у тому числі з рівними математичними очікуваннями, рівними а,
Оскільки кожна з величин Х 1, Х 2, Х 3, …, Х пмає розподіл, що збігається з розподілом генеральної сукупності, то М(Х)= а.Тому
звідки слідує, що – заможна оцінка М(Х).
Використовуючи правило дослідження на екстремум, можна довести, що є ефективною оцінкою М(Х).
