Shannonの情報通信モデル 情報源 → 情報源符号化 → 通信路符号化 → 通信路（雑音） → 通信路復号 → 情報源復号 → 受信者 通信路の情報は，そいつの存在によってどれだけ問題のエントロピーが減ったかによって評価する。 情報源X →（通信路C）→ 情報源Y Cの存在価値（情報量）は，![H[X] - H[X|Y]](http://chart.apis.google.com/chart?cht=tx&chf=bg,s,ffffff00&chco=000000ff&chs=25&chl=H%5BX%5D%20-%20H%5BX%7CY%5D)
Def. 通信路行列
送信符号：{a1, ..., aM} →確率変数X
受信符号：{b1, ..., bN} →確率変数Y
aiを送ったときにbjを受信する確率を
Pijをij-成分にもつ行列を，通信路行列という。
Prop. 通信路方程式（channel eq.） 以下が成り立つ。
Def. 通信路容量 通信一回あたりに送ることができる情報量の上限 送信符号X, 受信符号Y, 通信路特性P(Y|X)が与えられたとき，
Def. Hamming距離 シンボルKから生成される符号語 Kn (n:fix) に対して， 以下の距離が定義される。
Def. 7-4 Hamming 符号 Def. 線形符号 Def. 完全符号
Def. ランダム符号 Def. 典型的系列（Type, Typical Sequence） Th. 通信路符号化定理
