kenichiro @ ウィキ
kenichiro @ ウィキ

KL divergence

p(\mathbf{x})の情報量が

H[\mathbf{x}] = - \int p(\mathbf{x}) \ln p(\mathbf{x}) \mathrm{d} \mathbf{x}

で表される。これはエントロピーともいう。ファイルのエントロピーの計算プログラムはRubyでファイルのエントロピーの計算。
これに対しKullback-Leibler divergence(カルバックライブラー情報量)はp(\mathbf{x})とq(\mathbf{x})の違いを表す関数として使われる。相対エントロピーともいう。

D_{KL}(p||q) = \int p(\mathbf{x}) \ln \frac{p(\mathbf{x})}{q(\mathbf{x})}\mathrm{d}\mathbf{x}
「KL divergence」をウィキ内検索
最終更新：2009年07月07日 15:37
ツールボックス

下から選んでください:

新しいページを作成する
ヘルプ / FAQ もご覧ください。