通信路と情報理論 - waxwing_k @ ウィキ

通信路と情報理論

通信路(information channel)とは通信リンク，あるいは，メッセージを入力とし，その不完全な再現を出力とする，それに関連したシステムのモデルである．

離散メッセージとエントロピー

• 離散無記憶情報源(discrete memoryless source)においては，出力は同じ特性をもつ独立な確率変数の列である

相互情報量と離散通信路の通信路容量

通信路とは，通信リンク，あるいは，メッセージを入力とし，その不完全な再現を出力とする，それに関連するシステムである
この節では，通信路を流れる情報量の尺度として，相互情報量の概念を導入し，通信路容量を定義する

離散無記憶通信路

• 離散無記憶通信路(discrete memoryless channel)とは，入力と出力がともに記号の系列であり，各時点の出力はその時点の入力のみに依存するモデル
• 相互情報量(mutual information)
• 離散通信路の通信路容量(capacity of a discrete channel)

符号と通信路容量

• 通信路容量の重要性は（通信路）符号化定理と関係していて，その定理は，通信路を使ってn=k/Cよりほんのわずか多くのビットを送信することによって，k個の情報ビットを確実に送ることができることを示している

問題

---

↑誤り訂正符号入門