Перевірка відношенням правдоподібностей — Вікіпедія

Не слід плутати з використанням відношень правдоподібності в медичних тестах.

У статистиці переві́рка відно́шенням правдоподі́бностей — це статистична перевірка, що застосовується для порівняння допасованості двох моделей, одна з яких (нульова модель) є окремим випадком іншої (альтернативної^[en] моделі). Ця перевірка ґрунтується на відношенні правдоподібностей, яке виражає, в скільки разів правдоподібніше, що дані відповідають одній моделі, а не іншій. Це відношення правдоподібностей, або, рівнозначно, його логарифм, може потім застосовуватися для обчислення p-значення, або порівнюватися із критичним значенням^[en] для ухвалення рішення, чи відкинути нульову модель на користь альтернативної моделі. Коли застосовується логарифм відношення правдоподібностей, така статистика відома як статистика відношення логарифмічних правдоподібностей, а розподіл імовірності цієї перевірної статистики, за припущення, що нульова модель є істинною, може бути наближено із застосуванням теореми Уїлкса.

У випадку порівняння двох моделей, кожна з яких не має відомих параметрів, застосування перевірки відношенням правдоподібностей може бути обґрунтовано лемою Неймана-Пірсона^[en], яка показує, що така перевірка має найвищу потужність серед усіх конкурентів.^[1]

Застосування[ред. | ред. код]

Кожна з двох порівнюваних моделей, нульова модель та альтернативна модель, окремо співставляється з даними, і записується логарифмічна правдоподібність. Пробна статистика (що часто позначують через D) є подвоєною різницею цих логарифмічних правдоподібностей:

{\begin{aligned}D&=-2\ln \left({\frac {\text{likelihood for null model}}{\text{likelihood for alternative model}}}\right)\\&=-2\ln({\text{likelihood for null model}})+2\ln({\text{likelihood for alternative model}})\\\end{aligned}}

Модель із більшою кількістю параметрів завжди допасовуватиметься щонайменше так же добре (матиме рівну або більшу логарифмічну правдоподібність). Чи є вона суттєво кращою, і чи повинна їй тому віддаватися перевага, визначається виведенням імовірності або p-значення різниці D. Там, де нульова гіпотеза являє собою окремий випадок альтернативної гіпотези, розподіл імовірності статистичного критерію є приблизно хі-квадратним розподілом зі ступенями вільності, що дорівнюють df2 − df1.^[2] Символи df1 та df2 представляють кількість вільних параметрів моделей 1 та 2, відповідно, нульової та альтернативної.

Ось приклад застосування. Якщо нульова модель має 1 параметр та логарифмічну правдоподібність −8024, а альтернативна модель має 3 параметри та логарифмічну правдоподібність −8012, то ймовірністю цієї різниці є те, що й хі-квадрат значення +2·(8024 − 8012) = 24 з 3 − 1 = 2 ступенями вільності. Щоби статистика слідувала розподілові хі-квадрат, мусять виконуватися деякі припущення,^[3] і часто обчислюють емпіричні p-значення.

Перевірка відношенням правдоподібностей вимагає вкладених моделей, тобто таких моделей, що складнішу може бути перетворено на простішу накладенням набору обмежень на її параметри. Якщо моделі не є вкладеними, то натомість зазвичай може бути застосовано узагальнення перевірки відношенням правдоподібності: відносну правдоподібність.

Гіпотези проста-з-простою[ред. | ред. код]

Детальніші відомості з цієї теми ви можете знайти в статті Лема Неймана-Пірсона^[en].

Статистична модель часто є параметризованим сімейством^[en] функцій густини ймовірності або функцій маси ймовірності $f(x|\theta )$ . Перевірка гіпотез проста-з-простою має повністю визначені моделі як за нульової гіпотези, так і за альтернативної^[en], що для спрощення записуються в термінах фіксованих значень уявного параметра $\theta$ :

{\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}

Зауважте, що за кожної з гіпотез розподіл даних є повністю визначеним; невідомих параметрів для оцінки немає. Перевірка відношенням правдоподібностей ґрунтується на відношенні правдоподібностей, що часто позначають через $\Lambda$ (велика грецька літера лямбда). Відношення правдоподібностей визначається таким чином:^[4]^[5]

\Lambda (x)={\frac {L(\theta _{0}|x)}{L(\theta _{1}|x)}}={\frac {f(\cup _{i}\,x_{i}|\theta _{0})}{f(\cup _{i}\,x_{i}|\theta _{1})}}

або

\Lambda (x)={\frac {L(\theta _{0}\mid x)}{\sup\{\,L(\theta \mid x):\theta \in \{\theta _{0},\theta _{1}\}\}}},

де $L(\theta |x)$ є функцією правдоподібності, а $\sup$ — функцією супремума. Зауважте, що деякі джерела можуть використовувати як визначення обернене.^[6] У встановленому тут вигляді відношення правдоподібностей є малим, якщо альтернативна модель є кращою за нульову, і перевірка відношенням правдоподібностей дає таке правило рішення:

Якщо

\Lambda >c

, не відхиляти

H_{0}

;

Якщо

\Lambda <c

, відхилити

H_{0}

;

Відхилити з імовірністю

q

, якщо

\Lambda =c.

Значення $c,\;q$ зазвичай обираються для отримання вказаного рівня значущості $\alpha$ за допомогою відношення $q\cdot P(\Lambda =c\;|\;H_{0})+P(\Lambda <c\;|\;H_{0})=\alpha$ . Лема Неймана-Пірсона^[en] стверджує, що ця перевірка відношенням правдоподібностей є найпотужнішою серед усіх перевірок рівня $\alpha$ для цієї задачі.^[1]

Визначення (перевірка відношенням правдоподібностей для складених гіпотез)[ред. | ред. код]

Нульову гіпотезу часто задають, кажучи, що параметр $\theta$ належить до вказаної підмножини $\Theta _{0}$ простору параметрів $\Theta$ .

{\begin{aligned}H_{0}&:&\theta \in \Theta _{0}\\H_{1}&:&\theta \in \Theta _{0}^{\complement }\end{aligned}}

Функцією правдоподібності є $L(\theta |x)=f(x|\theta )$ (де $f(x|\theta )$ є ФГІ або ФМІ), що є функцією від параметра $\theta$ при $x$ , фіксованому на значенні, що фактично спостерігалося, тобто на даних. Статистикою перевірки відношенням правдоподібності є^[7]

\Lambda (x)={\frac {\sup\{\,L(\theta \mid x):\theta \in \Theta _{0}\,\}}{\sup\{\,L(\theta \mid x):\theta \in \Theta \,\}}}.

Тут запис $\sup$ стосується функції супремума.

Перевірка відношенням правдоподібностей — це будь-яка перевірка з критичною областю (або областю відхилення) вигляду $\{x|\Lambda \leq c\}$ , де $c$ є числом, що задовольняє $0\leq c\leq 1$ . Багато поширених перевірних статистик, таких як Z-критерій, F-критерій, перевірка хі-квадрат Пірсона та G-критерій^[en] є перевірками вкладених моделей, і їх може бути сформульовано як відношення логарифмічних правдоподібностей або їхніх наближень.

Інтерпретація[ред. | ред. код]

Будучи функцією даних $x$ , відношення правдоподібностей є відтак статистикою. Перевірка відношенням правдоподібностей відхиляє нульову гіпотезу, якщо значення цієї статистики є замалим. Наскільки мале є замалим, залежить від рівня значущості перевірки, тобто від того, яка ймовірність помилок першого роду вважається терпимою (помилки першого роду складаються з відхилень нульової гіпотези, що насправді є істинними).

Чисельник відповідає максимальній правдоподібності спостережуваного виходу за нульової гіпотези. Знаменник відповідає максимальній правдоподібності спостережуваного виходу при варіюванні параметрів над усім параметричним простором. Чисельник цього відношення є меншим за знаменник. Отже, відношення правдоподібностей лежить між 0 та 1. Низькі значення відношення правдоподібностей означають, що трапляння спостережуваного результату було менш правдоподібним за нульової гіпотези в порівнянні з альтернативною. Високі значення цієї статистики означають, що трапляння спостережуваного виходу було майже настільки ж правдоподібним за нульової гіпотези, як і за альтернативної, й нульову гіпотезу не можна відкидати.

Розподіл: теорема Уїлкса[ред. | ред. код]

Якщо розподіл відношення правдоподібностей, що відповідає певним нульовій та альтернативній гіпотезам, може бути визначено явно, то його можливо безпосередньо застосовувати для формування областей рішень (для прийняття/відхилення нульової гіпотези). Проте в більшості випадків точний розподіл відношення правдоподібностей, що відповідає певним гіпотезам, визначити дуже складно. Зручний результат, що приписують Семюелові Уїлксу^[en], каже, що з наближенням розміру вибірки $n$ до $\infty$ перевірна статистика $-2\log(\Lambda )$ для вкладених моделей ставатиме асимптотично $\chi ^{2}$ -розподіленою зі ступенями вільності, що дорівнюють різниці в розмірності $\Theta$ та $\Theta _{0}$ .^[3] Це означає, що для великого розмаїття гіпотез виконавець може обчислювати відношення правдоподібностей $\Lambda$ для даних, і порівнювати $-2\log(\Lambda )$ зі значенням $\chi ^{2}$ , що відповідає бажаній статистичній значущості, в ролі наближеної статистичної перевірки.

Приклади[ред. | ред. код]

Підкидання монети[ред. | ред. код]

Як приклад, у випадку перевірки Пірсона ми могли би спробувати порівняти дві монети, щоби визначити, чи вони мають однакову ймовірність випадіння аверсу. Наші спостереження може бути внесено до таблиці спряженості з рядками, що відповідають монетам, та стовпчиками, що відповідають аверсам (англ. heads) та реверсам (англ. tails). Елементами таблиці спряження будуть кількості разів, яку на монеті цього рядка випав аверс та реверс. Вміст цієї таблиці є нашим спостереженням $X$ .

	Аверси	Реверси
Монета 1	$k_{1H}$	$k_{1T}$
Монета 2	$k_{2H}$	$k_{2T}$

Тут $\Theta$ складається з можливих комбінацій значень параметрів $p_{1H}$ , $p_{1T}$ , $p_{2H}$ та $p_{2T}$ , що є ймовірністю того, що монети 1 та 2 впадуть аверсом або реверсом догори. Надалі $i=1,2$ та $j=H,T$ . Простір гіпотез $H$ обмежується звичайними обмеженнями на розподіл імовірності, $0\leq p_{ij}\leq 1$ та $p_{iH}+p_{iT}=1$ . Простір нульової гіпотези $H_{0}$ є підпростором, у якому $p_{1j}=p_{2j}$ . При позначенні через $n_{ij}$ найкращих значень $p_{ij}$ за гіпотези $H$ оцінка максимальної правдоподібності задається як

$n_{ij}={\frac {k_{ij}}{k_{iH}+k_{iT}}}.$

Аналогічно, оцінки максимальної правдоподібності $p_{ij}$ за нульової гіпотези $H_{0}$ задаються як

$m_{ij}={\frac {k_{1j}+k_{2j}}{k_{1H}+k_{2H}+k_{1T}+k_{2T}}},$

що не залежить від монети $i$ .

Гіпотезу та нульову гіпотезу може бути злегка переписано так, щоби вони задовольняли такі обмеження, щоби логарифм відношення правдоподібностей мав бажаний гарний розподіл. Оскільки це обмеження спричиняє зведення двовимірної $H$ до одновимірної $H_{0}$ , то асимптотичним розподілом цієї перевірки буде $\chi ^{2}(1)$ , розподіл $\chi ^{2}$ з одним ступенем вільності.