率失真理论
概述
率失真理论（Rate Distortion Theory）是 Shannon (1959) 建立的有损压缩数学理论，回答"给定可接受的失真水平 D，最少需要多少比特 R(D)"，是信息论的第三大支柱。
关键内容
信息论三大支柱
| 支柱 | 论文 | 核心问题 | 核心量 |
|---|---|---|---|
| 信源编码定理</td> <td>信源编码 | 1948 | 无损压缩的极限 | |
| 信道编码定理</td> <td>信道编码 | 1948 | 可靠通信的极限 | |
| 率失真 | 1959 | 有损压缩的极限 | R(D) |
核心问题
给定一个离散无记忆信源和一个失真度量 d(x,y)，当允许重构结果与原始数据之间的平均失真不超过 D 时，所需的最低比特率 R(D) 是多少？
率失真定理
- 正定理（可达性）：对于任何 R > R(D)，存在码率为 R 的编码方案，使得平均失真不超过 D + ε
- 逆定理（不可达性）：对于任何 R < R(D)，不存在码率为 R 的编码方案使得平均失真不超过 D
这完美类比了信道编码定理：速率 < C → 错误可任意小；速率 > C → 不可避免的错误。
R(D) 的性质
- 非递增性：R(D) 随 D 增大而减小
- 凸性：R(D) 是 D 的凸函数——减少失真的边际成本递增
- 端点行为：R(0) = H(X)（无损压缩），R(D_max) = 0（不需要传输任何信息）
- 连续性：R(D) 是 D 的连续函数
典型信源的 R(D)
二元对称信源（[雅各布·伯努利|伯努利]，Hamming 失真）： $$R(D) = H(p) - H(D) \quad (0 \leq D \leq \min(p, 1-p))$$
高斯信源（方差 σ²，均方误差失真）： $$R(D) = \frac{1}{2} \log_2 \frac{\sigma^2}{D} \quad (0 < D \leq \sigma^2)$$
每增加 1 bit 的传输率，均方误差降低 4 倍（6 dB）。
与深度学习的交汇
- 学习式图像压缩：直接优化率失真目标函数 R + λD
- VAE：ELBO = -(R + D)，重构损失 = 失真，KL 散度 = 比特率
- 感知-失真权衡：率、失真、感知质量三目标之间存在不可避免的权衡
来源
- raw/books/信息论/07_shannon_1959_rate_distortion_theory.md — Shannon (1959) 深度解析
- Coding Theorems (Shannon 1959)