自己情報量

正式名称

Self-information

一言でいうと

ある出来事がどれくらい意外なのかを表す情報量

初心者向け説明

自己情報量とは、ある出来事が起きたことで得られる情報の大きさを表したものです。

発生確率をpとすると、

I = -log₂p

で求められます。

例えば、確率が1/2なら、

I = 1 bit

です。

確率が1/8なら、

I = 3 bit

となります。

つまり、起こりにくい出来事ほど情報量が大きくなるという特徴があります。

ポイント

• 計算式はI = -log₂p
• 発生確率が低いほど情報量は大きい
• 単位にはbitを使う

関連用語

• ビット
• エントロピー
• 符号化

関連記事

• 情報量と符号化とは？エントロピー・デジタル符号化・データ圧縮を基礎から理解しよう

🍯 はちみつメモ

自己情報量 = 珍しい出来事ほど大きくなる情報量

---