Library > 数学 > 統計学 > Note5_ベイズ統計

ベイズ統計

基本原理:ベイズの定理

[定理]
事象
E_1,E_2,\dots , E_n
は、互いに排反で、
E_1\cup E_2 \cup \dots \cup E_n = \Omega
とする。
\Omegaは全事象を示す。
このとき、

P(E_i | F) = \frac{P(E_i) P(F | E_i)}{\sum_{j=1}^{\infty} P(E_i) P(F | E_i)}

事前確率:
P(E_i)
事後確率:
P(E_i | F)

[証明]
条件付き確率の定義は、
P(A | B)=\frac{P(A\cap B)}{P(B)}
なので、
P(E_i | F)=\frac{P(E_i \cap F)}{P(F)}...(A)
一方、
P(F | E_i)=\frac{P(E_i \cap F)}{P(E_i)}...(B)

E_1 \cap F,E_2 \cap F,\dot E_n \cap F 
が互いに排反かつ和がFであり、(B)式から、
P(F)=\sum_{j=1}^{\infty} P(E_i | F) = \sum_{j=1}^{\infty}P(E_i)P(F | E_i)

(A)に代入すると、
P(E_i | F)=\frac{P(E_i \cap F)}{\sum_{j=1}^{\infty}P(E_i)P(F | E_i)}=\frac{P(E_i) P(F | E_i)}{\sum_{j=1}^{\infty} P(E_i) P(F | E_i)}

ベイズ統計学の考え方

ベイズの定理で、
原因E\theta
 結果F:z、
 事前確率P(E_i)w(\theta_i)
 事後確率P(E_i|F)w^{'} (\theta | z)
 確率確率P(F | E_i)p(z | \theta_i)
とすれば、

 

w^{'}(\theta | z) = \frac{w(\theta_i) p(z | \theta_i)}{\sum_{j=1}^{\infty} w(\theta_i) p(z | \theta_i)}

連続的に動く場合、
w^{'}(\theta | z) = \frac{w(\theta) p(z | \theta)}{\int_{\Theta} w(\theta) p(z | \theta)d \theta}  

分母は、定数と見れば、
w^{'}(\theta | z) \propto w(\theta) p(z | \theta) 

事前分布と推定値

事前分布をどう決めるかによって推定値が決まる。

ツール

WINBUGS

最終更新:2016年02月25日 00:00