nopu@wiki

エントロピーとは何か

メモ

難しい問題ほど値が高くなるもの
というところまで落としこむと，たくさんのエントロピーが作れる。
ツァリスエントロピーとか

加法性その他の条件を満たす，
ものは，シャノンエントロピーしかないことが示せる。

計算しやすさ，ロバスト性などで使い分けが生じる。
どっちにしても密度推定が入るので難しい問題ではある。

一致性があればダイバージェンスが作れる。
ダイバージェンスが作れるものとしてのエントロピー