四年前期期末試験 > 情報理論

1. 記号0と1が各々1/2の確率で起こる情報源がある。
   1. この情報源のエントロピーを求めよ。
      • 
   2. この情報源から発生する記号系列を1重マルコフ過程として観察したら、記号0から1へは確率3/4で遷移し、確率1/4で再び0が現れる。また記号1からも同様に確率3/4で遷移し、確率1/4で再び1へ遷移する。この場合のエントロピーを求めよ。また問1.1の結果と比較し、その差について説明せよ。
      • 0.87？
      • 定常状態確率によるエントロピーと局所的なエントロピーの差？
2. 記号0と1がそれぞれ1/2の確率で現れる情報源がある。これらをある通信路を通して送ったら、0の中で1/4が1に、1の中で1/5が0に誤って送られた。この通信路を通して平均どれほどの情報が伝送されるか、またあいまい度はいくらか。
3. 二種類の記号0と1を発生する情報源に接続された誤りのない通信路がある。この通信路の通信容量を求めよ。ただし、記号0と1の伝送時間はいずれも等しいとする。
4. 三種類の記号{＋，0，－}からなる記号系列があり、表に示すような2記号連接度数を持つことがわかった。この記号系列が単純マルコフ過程であるとする。
   

   ┌→	＋	0	－
   ＋	30	10	20
   0	20	20	20
   －	0	30	30

   
   
   1. この記号のシャノン線図を示せ。
   2. 定常状態確率を求めよ。
   3. エントロピーを求めよ。

コメント