率失真函数
概述
率失真函数 R(D) 是在平均失真不超过 D 的所有条件分布 p(y|x) 中，使互信息 I(X;Y) 最小的值，刻画了比特率与失真之间的最优权衡曲线。
关键内容
定义
$$R(D) = \min_{p(y|x): \mathbb{E}[d(X,Y)] \leq D} I(X;Y)$$
即在所有满足平均失真不超过 D 的条件概率 p(y|x) 中，找到使互信息 I(X;Y) 最小的那个。
三种直觉解释
-
信息论的：R(D) 是在"保真度约束"下你必须保留的信息量的最小值。信源的全部信息量是 H(X)，但你只需通过一个容量为 R(D) 的管道——可以丢弃 H(X) - R(D) 的"不重要"信息。
-
几何的：在率失真平面上，R(D) 曲线划分了两个区域——曲线以上是"可达区域"，曲线以下是"禁区"。
关键性质
- 非递增：允许更多失真 → 需要更少比特
- 凸函数：减少失真的边际成本递增——将失真从 0.5 降到 0.4 比从 1.0 降到 0.9 需要更多额外比特
- R(0) = H(X)：零失真回到信源编码定理
- R(D_max) = 0：失真足够大时不需要传输任何信息
失真-率函数 D(R)
D(R) 是 R(D) 的逆函数：给定比特率 R，可达到的最小失真是多少？在工程实践中，D(R) 有时更直观——直接回答"如果我用 R bit/符号来传输，最好能做到多精确？"
来源
- raw/books/信息论/07_shannon_1959_rate_distortion_theory.md — Shannon (1959) 深度解析