nopu@wiki
nopu@wiki

Fisher Information Matrix

FIMはKL距離のTaylor展開に表れる。
\mathrm{KL}(p(x;\theta)\|p(x;\theta+\Delta \theta))
   = \mathbb{E}_{x} [\ln \frac{p(x;\theta)}{p(x;\theta+\Delta \theta)}]
   = \mathbb{E}_{x}[\ln p(x;\theta)] - \mathbb{E}_{x}[\ln p(x;\theta+\Delta \theta)]
  第２項を２次までTaylor展開する。
   = \mathbb{E}_{x}[\ln p(x;\theta)] - \mathbb{E}_{x}[\ln p(x;\theta)+\frac{\partial p(x;\theta)}{\partial \theta}\Delta \theta + \frac{1}{2} \Delta \theta^\mathrm{T} \frac{\partial^2 p(x;\theta)}{\partial \theta \partial \theta^\mathrm{T}} \Delta \theta]
  １階微分の項は消える（Lem.1）
   = - \frac{1}{2} \Delta \theta^\mathrm{T} \mathbb{E}_{x}[\frac{\partial^2 p(x;\theta)}{\partial \theta \partial \theta^\mathrm{T}}]\Delta \theta 
  ヘッセ行列（計量行列）はFIMに変形できる（Lem.2）
   = \frac{1}{2} \Delta \theta^\mathrm{T} \mathbb{E}_{x}[\frac{\partial p(x;\theta)}{\partial \theta }\frac{\partial p(x;\theta)}{\partial \theta^\mathrm{T} }]\Delta \theta 
   = \frac{1}{2} \Delta \theta^\mathm{T} G(\theta) \Delta \theta

Lem.1
密度関数の性質を使う。
p(x;\theta) \geq 0
\int p(x;\theta) dx \equiv 1

0 \equiv \frac{\partial }{\partial \theta} \int p(x;\theta) dx
    = \int \frac{\partial }{\partial \theta} p(x;\theta) dx
    = \int p(x;\theta) \frac{\partial \ln p(x;\theta)}{\partial \theta} dx
   \mathbb{E}_{x}[\frac{\partial \ln p(x;\theta)}{\partial \theta}]

Lem.2
Lem.1と同様の操作を繰り返す。
0 \equiv \frac{\partial^2 }{\partial \theta \partial \theta^\mathrm{T}} \int p(x;\theta) dx
    = \int \frac{\partial }{\partial \theta \partial \theta^\mathrm{T}} p(x;\theta) dx
    = \int \frac{\partial}{\partial \theta} p(x;\theta) \frac{\partial \ln p(x;\theta)}{\partial \theta^\mathrm{T}} dx
    = \int \frac{\partial p(x;\theta)}{\partial \theta} \frac{\partial \ln p(x;\theta)}{\partial \theta^\mathrm{T}} + p(x;\theta) \frac{\partial^2 \ln p(x;\theta)}{\partial \theta \partial \theta^\mathrm{T}} dx
    = \int p(x;\theta) \frac{\partial \ln p(x;\theta)}{\partial \theta} \frac{\partial \ln p(x;\theta)}{\partial \theta^\mathrm{T}} + p(x;\theta) \frac{\partial^2 \ln p(x;\theta)}{\partial \theta \partial \theta^\mathrm{T}} dx
    = \mathbb{E}_{x}[\frac{\partial \ln p(x;\theta)}{\partial \theta} \frac{\partial \ln p(x;\theta)}{\partial \theta^\mathrm{T}}] + \mathbb{E}_{x}[\frac{\partial^2 \ln p(x;\theta)}{\partial \theta \partial \theta^\mathrm{T}}]
「Fisher Information Matrix」をウィキ内検索
最終更新：2009年06月20日 16:22
ツールボックス

下から選んでください:

新しいページを作成する
ヘルプ / FAQ もご覧ください。