香农熵于1948年提出。它以比特为单位衡量信息不确定性。它是数据压缩、纠错乃至理解大脑信号的基石。 香农熵是1948年提出的概念。它量化了信息的平均不确定性或意外程度,以比特为单位。想象一下抛掷一枚均匀的硬币:1比特的熵意味着两种等可能的结果。每种结果都携带1比特的信息。一枚不均匀的硬币熵值较低,反映出不确定性减少。