微分熵
概述
微分熵（Differential Entropy）是 Shannon (1949) 引入的连续随机变量的信息度量，是离散信息熵在连续域的推广，但缺少离散熵的一些良好性质（如非负性）。
关键内容
定义
对于连续随机变量 X 的概率密度函数 f(x)：
$$h(X) = -\int f(x) \log f(x) dx$$
与离散熵的区别
- 微分熵可以为负值（离散熵始终 ≥ 0）
- 微分熵不是坐标变换下的不变量
- 但互信息 I(X;Y) = h(X) - h(X|Y) 在连续域中仍然保持良好的性质
在 Shannon 1949 论文中的角色
Shannon 在 1949 年论文中引入微分熵来处理连续随机变量，使其信息论框架能够处理实际通信系统中的模拟信号。这是将信息论从离散世界扩展到连续世界的核心数学工具。
高斯信道的微分熵
对于方差为 σ² 的高斯分布，微分熵为： $$h(X) = \frac{1}{2} \log(2\pi e \sigma^2)$$
这一结果是推导 Shannon-Hartley 公式的关键步骤。
来源
- raw/books/信息论/03_shannon_1949_communication_in_presence_of_noise.md — Shannon (1949) 深度解析