数据处理不等式
概述
数据处理不等式（Data Processing Inequality）指出：对数据进行任何确定性或随机变换不会增加关于原始变量的信息——只可能减少或保持。
关键内容
表述
对于马尔可夫链 X → Y → Z： $$I(X;Z) \leq I(X;Y)$$
等价地，用 KL 散度表述： $$D_{\text{KL}}(P_{\theta_1}^{T(X)} | P_{\theta_2}^{T(X)}) \leq D_{\text{KL}}(P_{\theta_1}^X | P_{\theta_2}^X)$$
对任何统计量 T。
直觉
数据处理就像"传话游戏"——每经过一轮转述，信息只会丢失或保持，不会增加。对数据施加任何变换（压缩、滤波、降维）都不可能创造出原始数据中不存在的信息。
与充分统计量的关系
等号成立当且仅当 T(X) 是充分统计量——即数据压缩没有损失任何区分信息。这是 Kullback-Leibler (1951) 论文的核心定理。
历史
虽然 Kullback 和 Leibler (1951) 已经暗示了这一结果，但其完整形式由后来的学者（特别是 Csiszár 和 Körner）明确表述。
来源
- raw/books/信息论/05_kullback_leibler_1951_information_and_sufficiency.md — Kullback & Leibler (1951) 深度解析