مجموع مربعات باقی‌مانده - ویکی‌پدیا، دانشنامهٔ آزاد

در آمار، مجموع مربعات باقی‌مانده (RSS) یا مجموع مربع باقیمانده‌ها (SSR) یا مجموع مربع برآوردهای خط (SSE)، مجموع مربعات باقیمانده‌ها (انحرافات پیش‌بینی‌شده از روی مقادیر تجربی واقعی) است، که معیار اختلافی بین داده‌ها و مدل برآورد، مانند رگرسیون خطی است. RSS کوچک نشان‌دهنده تناسب دقیق مدل با داده‌ها است. از آن به عنوان معیار بهینه‌سازی در انتخاب پارامتر و انتخاب مدل استفاده می‌شود.

به طور کلی، جمع کل مربعات = مجموع مربعات توضیح داده‌شده + مجموع مربعات باقیمانده. برای اثبات این موضوع در مورد کمترین مربعات معمولی چند متغیره (OLS)، به تقسیم بندی در مدل کلی OLS مراجعه کنید.

متغیر تبینی[ویرایش]

در مدلی با متغیر تبینی واحد، RSS به صورت زیر ارائه می‌شود: ^[۱]

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$

که در آن y_i به مقدار متغیر مطلوب پیش‌بینی i^ام ، x_i مقدار متغیر تبینی i^ام است، و ${\displaystyle f(x_{i})}$ مقدار پیش بینی شده y_i است (که همچنین ${\displaystyle {\hat {y_{i}}}}$ نامیده می شود). در مدل رگرسیون خطی ساده استاندارد، ${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,}$ است، که ${\displaystyle \alpha }$ و ${\displaystyle \beta }$ ضرایب، y و x به ترتیب رگرسیون‌شده و رگرسیون‌ساز و ε اصطاح خطا است. مجموع مربعات باقیمانده مجموع مربعات ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$ است; یعنی:

${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}}$

که ${\displaystyle {\widehat {\alpha \,}}}$ مقدار برآورد اصطلاح ثابت ${\displaystyle \alpha }$ و ${\displaystyle {\widehat {\beta \,}}}$ مقدار تخمینی ضریب شیب است ${\displaystyle \beta }$ .

بیان ماتریس برای مجموع مربعات باقیمانده OLS[ویرایش]

${\displaystyle y=X\beta +e}$

${\displaystyle X{\hat {\beta }}=y\iff }$

${\displaystyle X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff }$

${\displaystyle {\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.}$

${\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}}$ ،

${\displaystyle \operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y}$ ،

${\displaystyle y=ax+b}$ ،

که ${\displaystyle b={\bar {y}}-a{\bar {x}}}$ و ${\displaystyle a={\frac {S_{xy}}{S_{xx}}}}$، که ${\displaystyle S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})}$ و ${\displaystyle S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.}$

از این رو،

${\displaystyle {\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}}$

که ${\displaystyle S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.}$

ضریب همبستگی پیرسون توسط ${\displaystyle r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};}$ از این رو، ${\displaystyle \operatorname {RSS} =S_{yy}(1-r^{2}).}$

همچنین ببینید[ویرایش]

• معیار اطلاعات آکایک #مقایسه با حداقل مربعات
• توزیع Chi-squared#کاربردها
• درجات آزادی (آمار)#مجموع مجذورات و درجات آزادی
• خطاها و باقی مانده ها در آمار
• عدم تناسب مجموع مربع ها
• خطای میانگین مربعات
• کاهش آمار کای دو ، RSS به ازای درجه آزادی
• انحرافات مربعی
• مجموع مربعات (آمار)

منابع[ویرایش]

عرفان کریمی

1. ↑ Archdeacon, Thomas J. (1994). Correlation and regression analysis : a historian's guide. University of Wisconsin Press. pp. 161–162. ISBN 0-299-13650-7. OCLC 27266095.