を確率変数 M の発するメッセージ m の集合とし、p(m) = Pr(M = m) としたとき、M のエントロピーは次のようになる（単位はビット）。H とは、M の値の不確かさの尺度である。ここでの「ビット」の定義は重要である。例えば、通常の感覚（0 と 1）で 1000 ビットを転送するとしよう。事前にそのビット群の内容（0 と 1 の送信順序）がわかっている場合、論理的には通信によって得られる情報はゼロである。逆に個々のビットが 0 なのか 1 なのか五分五分の確率であった場合（かつビット間に相互の関連が存在しない場合）、1000 ビットで得られる情報は最大となる。これらの中間で、情報の定量化は次のように表される。 を確率変数 M の発するメッセージ m の集合とし、p(m) = Pr(M = m) としたとき、M のエントロピーは次のようになる（単位はビット）。