熵

概述

信息论中的核心概念，用于度量随机变量的不确定性或信息量，由Claude Shannon引入并成为信息论的基石。

数学定义：对于离散随机变量X，其熵定义为 $H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$，其中$p(x_i)$是事件$x_i$发生的概率。
物理意义：熵度量了随机变量的不确定性，或者说是对随机变量进行观测时平均能获得的信息量。等概率分布具有最大熵，确定性事件具有零熵。
与热力学熵的关系：信息熵与统计力学中的玻尔兹曼熵有着深层的数学联系，都度量某种"不确定性"或"选择的自由度"。
应用范围：不仅在通信工程中有重要意义，还在统计学、机器学习、生物信息学、经济学等多个领域广泛应用。
比特单位：当对数以2为底时，熵的单位是比特(bit)，这也是信息量的单位。