情報の不確実性がビットで測られる仕組み
1948年に開発されたシャノンエントロピーは、情報の不確実性をビットで測定します。データ圧縮、エラー訂正、さらには脳信号の理解の基礎となっています。
シャノンエントロピーは1948年に生まれた概念です。情報の平均的な不確実性や驚きをビットで数値化します。公平なコイン投げを想像してください。1ビットのエントロピーは、2つの等しい確率の結果を意味します。それぞれが1ビットの情報を持っています。偏ったコインはエントロピーが少なく、不確実性が低いことを示します。
続きはアプリでお読みいただけます。
アプリで続きを読む
あと2段落 · プラス3問のクイズ