Логістична регресія — Вікіпедія

Логістична регресія (англ. logistic regression) або лоґіт-регресія (англ. logit model^[1]) — статистичний регресійний метод, що застосовують у випадку, коли залежна змінна є бінарною^[en], тобто може набувати тільки двох значень (0 або 1). При запровадженні порогового значення може знаходити застосування у класифікуванні.

Приклади[ред. | ред. код]

Прикладом може слугувати класифікація електронних листів на «спам» або «не спам». Метод також використовується у медицині, наприклад, для визначення чи є пухлина злоякісною, чи доброякісною.

Визначення логістичної моделі[ред. | ред. код]

Нехай є деяка випадкова величина $Y,\,$ що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних $x=(1,x_{1},\ldots ,x_{n})^{T}.$ Залежність $Y,\,$ від $x_{1},\ldots ,x_{n}.$ можна визначити ввівши додаткову змінну y*, де $y^{*}=\theta ^{T}x=\theta _{0}+\theta _{1}x_{1}+\ldots +\theta _{n}x_{n}+\varepsilon .$ Тоді:

Y={\begin{cases}0,&y^{*}\leqslant 0\\1,&y^{*}>0\end{cases}}

При визначенні логістичної моделі стохастичний доданок $\varepsilon$ вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних $x^{*}=x_{1}^{*},\ldots ,x_{n}^{*}$ одержується відповідне значення $y^{*}$ і ймовірність того, що $Y=1,$ така:

p(Y=1)=p(y^{*}>0)=p(\theta ^{T}x^{*}+\varepsilon >0)=p(\varepsilon >-\theta ^{T}x^{*})=p(\varepsilon \leqslant \theta ^{T}x^{*})=\Lambda (\theta ^{T}x^{*}).

Передостання рівність випливає з симетричності логістичного розподілу, $\Lambda$ позначає логістичну функцію — функцію розподілу логістичного розподілу:

\Lambda (x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}

Таким чином для конкретного значення $x^{i}$ випадкова величина $Y^{i},\,$ має розподіл Бернуллі: $Y^{i}\ \sim B(1,\Lambda (\theta ^{T}x^{i})).$

Логіт-модель задовольняє наступній умові:

\ln {\frac {p(1|X)}{1-p(1|X)}}=\ln {\frac {p(1|X)}{p(0|X)}}=b_{0}+b_{1}x_{1}+...+b_{J}x_{J}

Оцінка параметрів[ред. | ред. код]

Оцінка параметрів $\theta _{0},\theta _{1},...,\theta _{n}$ на основі деякої вибірки $(x^{(1)},Y^{(1)}),...,(x^{(m)},Y^{(m)})$ , де $x^{(i)}\in \mathbb {R} ^{n}$ — вектор значень незалежних змінних, а $Y^{(i)}\in \{0,1\}$ — відповідне їм значення $Y,$ як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри $\theta$ , що максимізують значення функції правдоподібності на вибірці:

{\hat {\theta }}={\mbox{argmax}}_{\theta }L(\theta )={\mbox{argmax}}_{\theta }\prod _{i=1}^{m}\Pr\{Y=Y^{(i)}|x=x^{(i)}\}.

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

\log L(\theta )=\sum _{i=1}^{m}\log \Pr\{Y=Y^{(i)}|x=x^{(i)}\}=\sum _{i=1}^{m}Y^{(i)}\log \Lambda (\theta ^{T}x^{(i)})+(1-Y^{(i)})\log(1-\Lambda (\theta ^{T}x^{(i)})).

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Примітки[ред. | ред. код]

↑ David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press. с. 128.

Логістична функція: $\Lambda (x)={\frac {1}{1+e^{-x}}}$ .

Див. також[ред. | ред. код]

Логістичний розподіл

Література[ред. | ред. код]

Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.

[Freedman09-1] David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press. с. 128.

[1]