回帰直線と標準誤差について - 小西研究室@電脳工房ＭＳＣ

回帰直線の求め方

求める直線を $y=a+bx$ とおく。点 $(x_i,y_i)$ に対して、 $x=x_i$ における直線上の点を $(x_i,\hat{y_i})$ とおく。このとき、 $\hat{y_i}=a+bx_i$ である。残差 $e_i=|y_i - \hat{y_i}|$ 　とする。回帰直線の切片 $a$ と傾き $b$ は、
　 $S=\frac{1}{n}\sum_{i=1}^{n}e_i^2}$ を最小にするように決められる。

上記の $S$ を式変形していく。
$S=\frac{1}{n}\sum_{i=1}^{n}e_i^2}=\frac{1}{n}\sum_{i=1}^{n}\{ y_i - \hat{y_i}\}^2 }=\frac{1}{n}\sum_{i=1}^{n}\{ y_i - (a+bx_i)\}^2 }$
$=\frac{1}{n}\sum_{i=1}^{n}\{ y_i^2 - 2 y_i (a+bx_i)+(a+bx_i)^2\} }$
$=\frac{1}{n}\sum_{i=1}^{n}(y_i^2 - 2 a y_i -2 b x_i y_i +a^2 +2ab x_i +b^2x_i^2)$
$=\frac{1}{n}\sum_{i=1}^{n}y_i^2 - 2 a \frac{1}{n}\sum_{i=1}^{n}y_i -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i +a^2 +2ab \frac{1}{n}\sum_{i=1}^{n}x_i +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2$
$=\frac{1}{n}\sum_{i=1}^{n}y_i^2 - 2 a \bar{y} -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i +a^2 +2ab \bar{x} +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2$
$=a^2-2a(\bar{y}-b\bar{x}) +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2 -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i + \frac{1}{n}\sum_{i=1}^{n}y_i^2$
$=a^2-2a(\bar{y}-b\bar{x}) +(\bar{y}-b\bar{x})^2 - (\bar{y}-b\bar{x})^2 +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2 -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i + \frac{1}{n}\sum_{i=1}^{n}y_i^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 - (\bar{y}-b\bar{x})^2 +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2 -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i + \frac{1}{n}\sum_{i=1}^{n}y_i^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 - \bar{y}^2 +2b\bar{x}\bar{y} -b^2\bar{x}^2 +b^2\frac{1}{n}\sum_{i=1}^{n}x_i^2 -2 b \frac{1}{n}\sum_{i=1}^{n}x_i y_i + \frac{1}{n}\sum_{i=1}^{n}y_i^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 +b^2 \{ \frac{1}{n}\sum_{i=1}^{n}x_i^2 -\bar{x}^2 \} -2 b \{ \frac{1}{n}\sum_{i=1}^{n}x_i y_i - \bar{x}\bar{y}\} + \{ \frac{1}{n}\sum_{i=1}^{n}y_i^2 - \bar{y}^2 \}$
$=\{a-(\bar{y}-b\bar{x})\}^2 +b^2 S_x^2 -2 b S_{xy} + S_y^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b^2 -2 b\frac{ S_{xy}}{S_x^2 } ) + S_y^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b^2 -2 b\frac{ S_{xy}}{S_x^2 } + \frac{S_{xy}^2}{S_x^4} -\frac{S_{xy}^2}{S_x^4} ) + S_y^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b - \frac{ S_{xy}}{S_x^2 })^2 -\frac{S_{xy}^2}{S_x^2} + S_y^2$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b - \frac{ S_{xy}}{S_x^2 })^2 + S_y^2 -\frac{S_{xy}^2}{S_x^2}$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b - \frac{ S_{xy}}{S_x^2 })^2 + S_y^2 ( 1-\frac{S_{xy}^2}{S_x^2S_y^2} )$
$=\{a-(\bar{y}-b\bar{x})\}^2 +S_x^2( b - \frac{ S_{xy}}{S_x^2 })^2 + S_y^2 ( 1-r_{xy}^2 )$

となる。ゆえに、 $S$ が最小になるのは、
$b=\frac{S_{xy}}{S_x^2}, a=\bar{y}-b\bar{x}$ のとき、 $S=S_y^2(1-r_{xy}^2)=S_e^2$ (標準誤差）となる。

「回帰直線と標準誤差について」をウィキ内検索

最終更新：2012年07月02日 10:05