最小二乗推定量の仮説検定 - yohshimoの部屋 - atwiki（アットウィキ）

yohshimoの部屋

yohshimoの部屋

ページ一覧

最小二乗推定量の仮説検定

最小二乗推定量について

$y_{i}={\beta}_{0}+{\beta}_{1}x_{i}+{\epsilon}_{i}$

${\epsilon}_{i} \sim N(0,{\sigma}^2)$ かつ $Cov({\epsilon}_{i},{\epsilon}_{j})=0 (i \neq j)$

を最小二乗法で解きます。正規方程式を解いて、以下の最小二乗推定量が得られました。

$\hat{{\beta}_{1}}=\frac{s_{xy}}{s_{xx}}$

$\hat{{\beta}_{0}}=\bar{y}-\hat{{\beta}_{1}}\bar{x}$

なお、 $s_{xx}$ , $s_{xy}$ は偏差平方和、偏差積和であり以下のように計算される。

$s_{xx}=\sum_{i=1}^n (x_{i}-\bar{x})^2$

$s_{xy}=\sum_{i=1}^n (x_{i}-\bar{x})(y_{i}-\bar{y})$

仮説検定をしたい！

ところで、 $\hat{{\beta}_{0}},\hat{{\beta}_{1}}$ が0か、そうでないかの仮説検定をしたい。そのために、 $\hat{{\beta}_{0}},\hat{{\beta}_{1}}$ の平均、分散を計算する必要があるのです。とりあえず計算を頑張る。

$\hat{{\beta}_{1}}$ の平均、分散の計算

$s_{xx}$ は定数。 $s_{xy}$ は、正規分布に従う確率変数 $y_{i}$ の１次式だから、つまり $\hat{{\beta}_{1}}$ は正規分布に従う。

$s_{xy}$ の平均と分散は

$E[s_{xy}]=E[\sum_{i=1}^n (x_{i}-\bar{x})(y_{i}-\bar{y})] \\$

$V[s_{xy}]=V[\sum_{i=1}^n (x_{i}-\bar{x})(y_{i}-\bar{y})] \\$

それでは、本題の

$E[\hat{{\beta}_{1}}]=E[\frac{s_{xy}}{s_{xx}}]=\frac{1}{s_{xx}}E[s_{xy}]={\beta}_{1} \\$

$V[\hat{{\beta}_{1}}]=V[\frac{s_{xy}}{s_{xx}}]=\frac{1}{{s_{xx}}^2}V[s_{xy}]=\frac{{\sigma}^2}{s_{xx}} \\$

$\hat{{\beta}_{0}}$ の平均、分散の計算

$\bar{y}$ も $\hat{{\beta}_{1}}$ も正規分布に従うので $\hat{{\beta}_{0}}$ も正規分布に従う。

$\hat{{\beta}_{0}}$ の平均、分散は

$E[\hat{{\beta}_{0}}]=E[\bar{y}-\hat{{\beta}_{1}}\bar{x}]=({\beta}_{0}+{\beta}_{1}\bar{x})-{\beta}_{1}\bar{x}={\beta}_{0}$

$V[\hat{{\beta}_{0}}]=V[\bar{y}-\hat{{\beta}_{1}}\bar{x}]=V[\bar{y}]+{\bar{x}}^2 V[\hat{{\beta}_{1}}]-2\bar{x}Cov[\bar{y},\hat{{\beta}_{1}}]$

さて、 $Cov[\bar{y},\hat{{\beta}_{1}}]$ は

$Cov[\bar{y},\hat{{\beta}_{1}}]=Cov[\frac{1}{n} \sum_{i=1}^n y_{i},\frac{s_{xy}}{s_{xx}}]\\$

$=\frac{1}{ns_{xx}} Cov[\sum_{i=1}^n y_{i},\sum_{i=1}^n (x_{i}-\bar{x})y_{i}] \\$

$=\frac{1}{ns_{xx}} \sum_{i=1}^n (x_{i}-\bar{x})V[y_{i}]\\$

$=\frac{{\sigma}^2}{ns_{xx}} \sum_{i=1}^n (x_{i}-\bar{x})\\$

$=0$

よって、

$V[\hat{{\beta}_{0}}]=(\frac{1}{n}+\frac{{\bar{x}}^2}{s_{xx}}){\sigma}^2$

「回帰直線」については、もっと勉強しないとならないことがあるので、これからも時間をみつけてまとめていかなくちゃ。 -- yohshimo (2007-08-26 12:44:26)

「最小二乗推定量の仮説検定」をウィキ内検索

最終更新：2007年08月26日 12:44