Баєсова лінійна регресія — Вікіпедія

Частина з циклу Статистика
Баєсова статистика
Теорія
Апостеріорна ймовірність Апостеріорний прогнозний розподіл[en] Апріорна ймовірність Баєсів інформаційний критерій Баєсова ефективність[en] Баєсова ймовірність Баєсова мережа Баєсове висновування Гіперапріорний розподіл[en] Гіперпараметр Емпіричний баєсів метод[en] Імовірний інтервал Інтерпретації ймовірності Коефіцієнт Баєса Оцінка апостеріорного максимуму Правдоподібність Правило Баєса Правило Кромвеля[en] Прийнятне правило рішення[en] Принцип максимальної ентропії[en] Принцип недостатнього обґрунтування[en] Спряжений апріорний розподіл Теорема Баєса Теорема Бернштайна — фон Мізеса[de]
Методи
Баєсова лінійна регресія Баєсова оцінка Приблизне баєсове обчислення
п о р

Частина з циклу Статистика
Регресійний аналіз
Моделі
Лінійна регресія Проста лінійна регресія Звичайні найменші квадрати[en] Поліноміальна регресія Загальна лінійна модель
Узагальнена лінійна модель[en] Дискретний вибір Логістична регресія Поліноміальний логіт[en] Змішаний логіт[en] Пробіт[en] Поліноміальний пробіт[en] Впорядкований логіт[en] Впорядкований пробіт[en] Пуассон
Багаторівнева модель[en] Фіксовані рівні факторів[en] Випадкові рівні факторів[en] Змішана модель
Нелінійна регресія[en] Непараметрична[en] Напівпараметрична[en] Робастна[en] Квантильна[en] Ізотонічна[en] Головні компоненти[en] Найменші кути[en] Локальна[en] Сегментована[en]
Похибки вимірювань[en]
Оцінка
Найменші квадрати Звичайні найменші квадрати[en] Лінійні[en] Частинні[en] Повні[en] Узагальнені[en] Зважені[en] Нелінійні[en] Невід'ємні[en] Ітеративно перезважувані[en] Регуляризація Тихонова
Найменших модулів[en] Баєсова Баєсова багатовимірна[en]
Підґрунтя
Перевірка регресійних моделей[en] Середній та передбачуваний відгук[en] Похибки та залишки Допасованість Студентизований залишок Теорема Гаусса — Маркова
п о р

Ба́єсова ліні́йна регре́сія в статистиці — це підхід до лінійної регресії, в якому статистичний аналіз застосовується в контексті баєсового висновування. Якщо помилки регресійної моделі мають нормальний розподіл і якщо розглядається певна форма апріорного розподілу, то для апостеріорного розподілу ймовірності параметрів моделі доступні точні результати.

Налаштування моделі[ред. | ред. код]

Розгляньмо стандартну задачу лінійної регресії, в якій для ${\displaystyle i=1,...,n}$ ми вказуємо умовну ймовірність ${\displaystyle y_{i}}$ для заданого вектора ${\displaystyle k\times 1}$ провісників ${\displaystyle \mathbf {x} _{i}}$:

${\displaystyle y_{i}=\mathbf {x} _{i}^{\rm {T}}{\boldsymbol {\beta }}+\epsilon _{i},}$

де ${\displaystyle {\boldsymbol {\beta }}}$ є вектором завдовжки ${\displaystyle k\times 1}$, а ${\displaystyle \epsilon _{i}}$ є незалежними однаково розподіленими випадковими величинами з нормальним розподілом:

${\displaystyle \epsilon _{i}\sim N(0,\sigma ^{2}).}$

Це відповідає такій функції правдоподібності:

${\displaystyle \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right).}$

Розв'язком звичайних найменших квадратів^[en] є оцінка вектора коефіцієнтів за допомогою псевдообернення Мура-Пенроуза:

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y} }$

де ${\displaystyle \mathbf {X} }$ є матрицею плану^[en] ${\displaystyle n\times k}$, кожен з рядків якої є вектором провісників ${\displaystyle \mathbf {x} _{i}^{\rm {T}}}$, а ${\displaystyle \mathbf {y} }$ є вектором-стовпцем ${\displaystyle [y_{1}\;\cdots \;y_{n}]^{\rm {T}}}$.

Це є частотним підходом, що передбачає наявність достатньої кількості вимірювань, щоби сказати щось суттєве про ${\displaystyle {\boldsymbol {\beta }}}$. За баєсового ж підходу дані надаються з додатковою інформацією у вигляді апріорного розподілу ймовірності. Ці апріорні переконання про параметри поєднуються з функцією правдоподібності даних згідно з теоремою Баєса для отримання апостеріорного переконання про параметри ${\displaystyle {\boldsymbol {\beta }}}$ та ${\displaystyle \sigma }$. Це апріорне може мати різний функціональний вигляд в залежності від області визначення та інформації, що доступна апріорі.

Зі спряженими апріорними[ред. | ред. код]

Спряжений апріорний розподіл[ред. | ред. код]

Для довільного апріорного розподілу може не існувати аналітичного розв'язку задачі пошуку апостеріорного розподілу. В цьому розділі ми розглянемо так зване спряжене апріорне, для якого апостеріорний розподіл може бути виведено аналітично.

Апріорне ${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})}$ є спряженим до функції правдоподібності, якщо вона має такий самий функційний вигляд по відношенню до ${\displaystyle {\boldsymbol {\beta }}}$ та ${\displaystyle \sigma }$. Оскільки логарифмічна правдоподібність є квадратичною в ${\displaystyle {\boldsymbol {\beta }}}$, логарифмічна правдоподібність переписується так, що правдоподібність стає нормальною в ${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$. Запишімо

${\displaystyle {\begin{aligned}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\\&+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}).\end{aligned}}}$

Логарифмічна правдоподібність тепер переписується як

${\displaystyle {\begin{aligned}\rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})&\propto (\sigma ^{2})^{-v/2}\exp \left(-{\frac {vs^{2}}{2{\sigma }^{2}}}\right)(\sigma ^{2})^{-(n-v)/2}\\&\times \exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\right),\end{aligned}}}$

де

${\displaystyle vs^{2}=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}),}$ та ${\displaystyle v=n-k,}$

де ${\displaystyle k}$ є кількістю коефіцієнтів регресії.

Це підказує такий вигляд апріорного:

${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})=\rho (\sigma ^{2})\rho ({\boldsymbol {\beta }}|\sigma ^{2}),}$

де ${\displaystyle \rho (\sigma ^{2})}$ є оберненим гамма-розподілом

${\displaystyle \rho (\sigma ^{2})\propto (\sigma ^{2})^{-(v_{0}/2+1)}\exp \left(-{\frac {v_{0}s_{0}^{2}}{2{\sigma }^{2}}}\right).}$

У записі, запропонованому в статті про обернений гамма-розподіл, це є густиною розподілу ${\displaystyle {\text{Inv-Gamma}}(a_{0},b_{0})}$ з ${\displaystyle a_{0}=v_{0}/2}$ та ${\displaystyle b_{0}={\frac {1}{2}}v_{0}s_{0}^{2}}$ з ${\displaystyle v_{0}}$ та ${\displaystyle s_{0}^{2}}$ як апріорних значень ${\displaystyle v}$ та ${\displaystyle s^{2}}$ відповідно. Рівносильно, це також може бути описано як зважений обернений розподіл хі-квадрат^[en], ${\displaystyle {\mbox{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).}$

Далі густина умовного апріорного ${\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})}$ є нормальним розподілом,

${\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}\mathbf {\Lambda } _{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right).}$

У записі нормального розподілу густина умовного апріорного є ${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}\mathbf {\Lambda } _{0}^{-1}\right).}$

Апостеріорний розподіл[ред. | ред. код]

Із вже визначеним апріорним, апостеріорний розподіл може бути виражено як

${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\rho ({\boldsymbol {\beta }}|\sigma ^{2})\rho (\sigma ^{2})}$

${\displaystyle \propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right)}$

${\displaystyle \times (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right)}$

${\displaystyle \times (\sigma ^{2})^{-(a_{0}+1)}\exp \left(-{\frac {b_{0}}{{\sigma }^{2}}}\right).}$

За певного переформулювання^[1] апостеріорне може бути переписано так, що апостеріорне середнє ${\displaystyle {\boldsymbol {\mu }}_{n}}$ вектора параметрів ${\displaystyle {\boldsymbol {\beta }}}$ може бути виражено в термінах оцінки найменших квадратів ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ та апріорного середнього ${\displaystyle {\boldsymbol {\mu }}_{0}}$, де підтримка апріорного вказується матрицею точності апріорного ${\displaystyle {\boldsymbol {\Lambda }}_{0}}$

${\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}).}$

Для підтвердження того, що ${\displaystyle {\boldsymbol {\mu }}_{n}}$ дійсно є апостеріорним середнім, квадратні члени в експоненті може бути переформульовано як квадратичну форму^[en] в ${\displaystyle {\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}}$.^[2]

${\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})+({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})=}$

${\displaystyle ({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})+\mathbf {y} ^{\rm {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}.}$

Тепер апостеріорне може бути виражено як добуток нормального розподілу на обернений гамма-розподіл:

${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +\mathbf {\Lambda } _{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})\right)}$

${\displaystyle \times (\sigma ^{2})^{-(n+2a_{0})/2-1}\exp \left(-{\frac {2b_{0}+\mathbf {y} ^{\rm {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}}{2{\sigma }^{2}}}\right).}$

Отже, апостеріорний розподіл може бути параметризовано таким чином.

${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto \rho ({\boldsymbol {\beta }}|\sigma ^{2},\mathbf {y} ,\mathbf {X} )\rho (\sigma ^{2}|\mathbf {y} ,\mathbf {X} ),}$

де ці два множники відповідають густинам розподілів ${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)}$ та ${\displaystyle {\text{Inv-Gamma}}\left(a_{n},b_{n}\right)}$, з їхніми параметрами, що задаються як

${\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +\mathbf {\Lambda } _{0}),\quad {\boldsymbol {\mu }}_{n}=({\boldsymbol {\Lambda }}_{n})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}),}$

${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},\qquad b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\rm {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\rm {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).}$

Це може інтерпретуватися як баєсове навчання, де параметри уточнюються відповідно до наступних рівнянь.

${\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}})=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+\mathbf {X} ^{\rm {T}}\mathbf {y} ),}$

${\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}),}$

${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},}$

${\displaystyle b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\rm {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\rm {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).}$

Свідчення моделі[ред. | ред. код]

Свідчення моделі ${\displaystyle p(\mathbf {y} |m)}$ є ймовірністю даних за заданої моделі ${\displaystyle m}$. Воно також відоме як відособлена правдоподібність, а також як передбачувана апріорна густина. Тут модель визначається функцією правдоподібності ${\displaystyle p(\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma )}$ та апріорним розподілом параметрів, тобто, ${\displaystyle p({\boldsymbol {\beta }},\sigma )}$. Свідчення моделі фіксує одним числом, наскільки гарно така модель пояснює ці спостереження. Свідчення моделі баєсової лінійної регресії, представлене в цьому розділі, може застосовуватись для порівняння конкурентних лінійних моделей баєсовим порівнянням моделей. Ці моделі можуть відрізнятися як кількістю та значеннями змінних-провісників, так і своїми апріорними параметрами моделі. Складність моделі вже враховано свідченням моделі, оскільки воно відособлює параметри інтегруванням ${\displaystyle p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma |\mathbf {X} )}$ над усіма можливими значеннями ${\displaystyle {\boldsymbol {\beta }}}$ та ${\displaystyle \sigma }$.

${\displaystyle p(\mathbf {y} |m)=\int p(\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma )\,p({\boldsymbol {\beta }},\sigma )\,d{\boldsymbol {\beta }}\,d\sigma }$

Цей інтеграл може бути обчислено аналітично, а розв'язок представлено наступним рівнянням.^[3]

${\displaystyle p(\mathbf {y} |m)={\frac {1}{(2\pi )^{n/2}}}{\sqrt {\frac {\det({\boldsymbol {\Lambda }}_{0})}{\det({\boldsymbol {\Lambda }}_{n})}}}\cdot {\frac {b_{0}^{a_{0}}}{b_{n}^{a_{n}}}}\cdot {\frac {\Gamma (a_{n})}{\Gamma (a_{0})}}}$

Тут ${\displaystyle \Gamma }$ позначає гамма-функцію. Оскільки ми обрали спряжене апріорне, то відособлену правдоподібність також може бути легко обчислено розв'язанням наступного рівняння для довільних значень ${\displaystyle {\boldsymbol {\beta }}}$ та ${\displaystyle \sigma }$.

${\displaystyle p(\mathbf {y} |m)={\frac {p({\boldsymbol {\beta }},\sigma |m)\,p(\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ,m)}{p({\boldsymbol {\beta }},\sigma |\mathbf {y} ,\mathbf {X} ,m)}}}$

Зауважте, що це рівняння є ні чим іншим, як переформулюванням теореми Баєса. Підставлення формул для апріорного, правдоподібності та апостеріорного, та спрощення отримуваного виразу ведуть до аналітичного виразу, наведеного вище.

Інші випадки[ред. | ред. код]

Виводити апостеріорний розподіл аналітично в загальному випадку може бути неможливо або непрактично. Проте можливо наближувати апостеріорне методом приблизного баєсового висновування, таким як вибірка Монте-Карло^[4] або варіаційні баєсові методи^[en].

Особливий випадок ${\displaystyle {\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I} }$ називається гребеневою регресією.

Схожий аналіз може виконуватись для загального випадку багатовимірної регресії, і його частина забезпечує баєсову оцінку коваріаційних матриць^[en]: див. багатовимірну баєсову лінійну регресію^[en].

Див. також[ред. | ред. код]

• Баєсова лінійна статистика^[en]
• Регуляризація Тихонова

Примітки[ред. | ред. код]

Джерела[ред. | ред. код]

• Box, G. E. P.; Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis. Wiley. ISBN 0-471-57428-7. (англ.)
• Carlin, Bradley P. and Louis, Thomas A. (2008). Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 1-58488-697-8. (англ.)
• O'Hagan, Anthony (1994). Bayesian Inference. Kendall's Advanced Theory of Statistics. Т. 2B (вид. First). Halsted. ISBN 0-340-52922-9. (англ.)
• Gelman, Andrew^[en], Carlin, John B., Stern, Hal S. and Rubin, Donald B. (2003). Bayesian Data Analysis, Second Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 1-58488-388-X. (англ.)
• Walter Gero. Bayesian Linear Regression—Different Conjugate Models and Their (In)Sensitivity to Prior-Data Conflict. — 2009. Архівовано з джерела 5 січня 2015. Процитовано 10 вересня 2015. (англ.)
• Goldstein, Michael; Wooff, David (2007). Bayes Linear Statistics, Theory & Methods. Wiley. ISBN 978-0-470-01562-9. (англ.)
• Fahrmeir, L., Kneib, T., and Lang, S. (2009). Regression. Modelle, Methoden und Anwendungen (вид. Second). Heidelberg: Springer. doi:10.1007/978-3-642-01837-4. ISBN 978-3-642-01836-7. (англ.)
• Rossi, Peter E.; Allenby, Greg M.; McCulloch, Robert (2006). Bayesian Statistics and Marketing. John Wiley & Sons. ISBN 0470863676. (англ.)
• Thomas P. Minka (2001) Bayesian Linear Regression [Архівовано 26 жовтня 2008 у Wayback Machine.], Microsoft research web page (англ.)

Посилання[ред. | ред. код]

• Bayesian estimation of linear models (R programming wikibook). Реалізація баєсової лінійної регресії мовою R.

п о р Статистика Нарис Індекс[en]   Описова статистика Неперервні дані Центр Середнє арифметичне геометричне гармонійне середні зважені Медіана Мода Розкид Дисперсія Стандартне відхилення Коефіцієнт варіації Перцентиль Розмах Міжквартильний розмах Форма Центральна гранична теорема Момент Асиметрія Ексцес L-момент Чисельні дані Індекс дисперсії Підсумкові таблиці Згруповані дані Частотний розподіл Таблиця спряженості Залежність Коефіцієнт кореляції Пірсона Кореляція рангу ρ Спірмена τ Кендала Часткова кореляція Точкова діаграма Графіки Стовпчикова діаграма Подвійний графік Коробковий графік Контрольна карта Корелограма Віялова діаграма Лісова діаграма Гістограма Секторна діаграма Графік Q-Q Графік біжучої послідовності Точкова діаграма Діаграма «стовбур — листя» Пелюсткова діаграма Скрипкова діаграма   Збирання даних Планування дослідження Генеральна сукупність Статистика Розмір ефекту[en] Статистична потужність Оптимальний план Вибірка Визначення розмірів вибірки Реплікація[en] Пропущені дані[en] Методологія дослідження Відбір вибірки стратифікований кластерний Стандартне відхилення середнього арифметичного Опитування Анкетування Активні експерименти Науковий контроль Рандомізований експеримент Контрольоване дослідження Випадкове призначування[en] Групування Взаємодія (статистика) Повний факторний експеримент Адаптивне планування Адаптивне клінічне випробування[en] Збільшувально-зменшувальні плани[en] Стохастичне наближення[en] Пасивні дослідження Поперечне дослідження Когортне дослідження Природний експеримент Квазі-експеримент   Статистичне висновування Теорія статистики Генеральна сукупність Статистика Розподіл імовірності Вибірковий розподіл порядкова статистика Емпіричний розподіл оцінка густини Статистична модель визначення моделі[en] простір Lp Параметр зсуву масштабу форми Параметричне сімейство[en] правдоподібність (монотонна)[en] зсувно-масштабне сімейство[en] експоненційне сімейство[en] Повнота[en] Достатність Статистичний функціонал[en] натяжка U[en] V[en] Оптимальне рішення функція втрат Ефективність[en] Статистична відстань[en] розходження[en] Асимптотика[en] Робастність Частотницьке висновування Точкова оцінка Оцінні рівняння[en] максимальна правдоподібність метод моментів M-оцінювач[en] мінімальна відстань[en] Незміщені оцінки усереднено-незміщена мінімально-дисперсійна[en] Рао — Блеквелізування теорема Леманна — Шеффе[en] Медіана Замінна[en] Інтервальне оцінювання[en] Довірчий інтервал Центральна величина[en] Інтервал правдоподібності Прогнозний інтервал[en] Толерантний інтервал[en] Перевибірка[en] натяжка складаний ніж Перевірка гіпотез 1- та 2-бічна[en] Потужність рівномірно найпотужніший критерій[en] Критерій перестановок критерій рандомізації[en] Множинні порівняння Параметричні критерії[en] Відношення правдоподібностей Множники Лагранжа[en] Вальд[en] Спеціальні критерії Z-критерій (нормальний) t-критерій Стьюдента F-критерій Допасованість Хі-квадрат G-критерій[en] Колмогорова-Смирнова Андерсона–Дарлінга Ліллієфорса[en] Харке–Бера[en] Нормальність (Шапіро–Вілка)[en] Перевірка відношенням правдоподібностей Обирання моделі Перехресне затверджування ІКА БІК Ранжувальні статистики Знаків[en] вибіркова медіана[en] Знаковий ранг (Уілкоксона)[en] оцінювач Ходжеса–Лемана[en] Рангова сума (Манна–Уітні) Непараметричний[en] дисперсійний аналіз 1-бічний (Краскела–Уоліса)[en] 2-бічний (Фрідмана) впорядкована альтернатива (Джонкгіра–Терпстра)[en] Баєсове висновування Баєсова ймовірність апріорна апостеріорна Імовірний інтервал Коефіцієнт Баєса Баєсова оцінка Оцінка апостеріорного максимуму   Кореляційний та регресійний аналіз Кореляція Коефіцієнт кореляції Пірсона Часткова кореляція Змішувальна змінна Коефіцієнт детермінації Регресійний аналіз Похибки та залишки Регресійне затверджування[en] Моделі змішаних впливів Система одночасних рівнянь[en] Сплайни багатовимірної адаптивної регресії (MARS)[en] Лінійна регресія Проста лінійна регресія Звичайний метод найменших квадратів[en] Загальна лінійна модель Баєсова лінійна регресія Нестандартні передбачувачі Нелінійна регресія[en] Непараметрична[en] Напівпараметрична[en] Ізотонічна[en] Робастна[en] Гетероскедастичність Гомоскедастичність Узагальнена лінійна модель[en] Експоненційні сімейства[en] Логістична (Бернуллі) / Біноміальна регресія[en] / Регресія Пуассона Розбиття дисперсії[en] Дисперсійний аналіз (ANOVA) Коваріаційний аналіз Багатовимірний дисперсійний аналіз (MANOVA)[en] Ступені вільності   Категорійний / багатовимірний аналіз / аналіз часових рядів / виживаності Категорійний Каппа Коена[en] Таблиця спряженості Графова модель Логарифмічна модель Критерій МакНімара[en] Багатовимірний Регресія Багатовимірний дисперсійний аналіз (MANOVA)[en] Головні компоненти Канонічна кореляція Дискримінантний аналіз Кластерний аналіз Класифікація Модель структурних рівнянь[en] факторний аналіз Багатовимірні розподіли еліптичні розподіли нормальний Часові ряди Загальне Розклад Тенденції Стаціонарність Сезонне пристосування[en] Експоненційне згладжування Коінтеграція[en] Структурний розрив[en] Причинність за Грейнджером[en] Спеціальні критерії Дікі–Фуллера Йохансена[en] Q-статистика (Льюнга-Бокса) Дарбіна–Уотсона Бройша–Годфрі[en] Часова область Автокореляція (ACF) Частинна автокореляція (PACF)[en] Взаємна кореляція (XCF) Авторегресійне ковзне середнє (ARMA) Метод Бокса–Дженкінса (ARIMA)[en] Авторегресивна умовна гетероскедастичність (ARCH) Векторна авторегресія (VAR) Частотна область Оцінка[en] спектральної густини Аналіз Фур'є Вейвлет Уіттлівська правдоподібність[en] Виживаність Функція виживаності[en] Оцінювач Каплана–Меєра (границі добутку)[en] Модель пропорційних ризиків[en] Модель прискореного часу до відмови[en] Момент першого влучання[en] Інтенсивність відмов Оцінювач Нельсона–Аалена[en] Критерій Логарифмічний ранговий критерій[en]   Застосування Біологічна статистика Біоінформатика Клінічні випробування / дослідження[en] Епідеміологія Медична статистика Інженерна статистика Хемометрія Інженерія методів[en] Імовірнісне проєктування[en] Керування процесами / якістю Теорія надійності Ідентифікація систем[en] Соціальна статистика[en] Актуарна математика Перепис населення Правова статистика Демографічна статистика Економетрія Юриметрія[en] Національне рахівництво Офіційна статистика[en] Психометрія Просторова статистика Картографія Екологічна статистика[en] Геоінформаційні системи Геостатистика Кригінг Категорія   Портал «Математика» Вікісховище