確率的情報処理

確率的情報処理とは

ただ一つの入力に対して，ただ一つの出力を考えるのが決定的情報処理．
ただ一つの入力に対して，あらゆる状態の可能性（条件付き確率分布）を考慮（モデル化）し，
状態の分布の平均や分散を求めることによって，出力値を考えるのが確率的情報処理．

グラフィカルモデル

確率変数をノード，確率変数間の（統計的）依存関係を辺で表したモデル．
このグラフに基づき未知変数の条件付き結合分布（確率モデル）を求め，推論をおこなう．

ベイジアンネットワーク

有向グラフによって確率変数間の依存関係を表したグラフィカルモデル．ただし，辺のサイクルは認められない．
データベースより変数間の確率モデル（条件付き確率分布）を学習し，その推定値（統計量 etc）を計算することにより未観測データの推論をおこなう技術である．

マルコフ確率場 (Marcov Random Field)

無向グラフによって確率変数間の依存関係を表したグラフィカルモデル．
各ノード（確率変数）の他ノードに対する条件付き分布は最近接ノードにのみ依存する．（場のマルコフ性を仮定）
マルコフ確率場の結合分布はHammersley-Cliffordの定理よりギブス分布と等価であることが証明されている．

推論方法

最尤推定

尤度関数を最大化するを推定値とする手法．
この場合，がの変数であり，

であるため，を確率分布ではなく尤度関数と呼ぶ．

EMアルゴリズム

不完全なデータセットより，パラメータの推定をおこなう手法である．
観測できないデータを，観測できるデータをとすると，は一意に定めることができない．
そこで尤度関数 の期待値 を最大化することを考える．
を求めるために必要な確率にはを用いる．
(E-Step) を計算し，
(M-Step) を最大化するを次のとする．
以上のステップを反復し，最終的に得られたを推定値とする．

ベイズ推定とＭＡＰ推定

が観測されたときの事後分布をとしたとき，
の期待値

をの推定値とする方法をベイズ推定と呼び，

となるを推定値とする手法をMAP推定と呼ぶ．
なお，の条件付き周辺分布をとするとき，

となるを推定値とする手法をMPM推定と呼ぶ．

サンプリング手法

ギブスサンプラー（熱浴法）

とするとき，着目する確率変数以外を固定し，条件付き確率分布より，のサンプルを抽出する．
得られた値を次の状態として，同様の処理を繰り返す．
条件付き確率分布から次状態をサンプリングできるかどうかが重要であり，困難な場合は逆関数法（または格子ギブスサンプラー）が用いられる．

平均場近似

大自由度系の確率システムにおいて，期待値を求めることは極めて困難である．
そこで依存する確率変数の値を平均値と近似することで導出される条件付き周辺分布を用いての期待値を求める手法が平均場近似である．
（はからを除いたもの）

マルコフ過程

隠れマルコフモデル

シミュレーティッドアニーリング

---