有损压缩
概述
有损压缩（Lossy Compression）是允许重构结果与原始数据存在一定失真的数据压缩方法，通过舍弃"不重要"的信息来显著降低比特率，是多媒体技术的核心。
关键内容
与无损压缩的对比
| 无损压缩 | 有损压缩 | |
|---|---|---|
| 目标 | 完美重构 | 近似重构 |
| 理论极限 | 信源熵 H | 率失真函数 R(D) |
| Shannon 论文 | 1948 | 1959 |
| 实际应用 | ZIP, PNG | MP3, JPEG, H.264 |
工业应用
| 技术 | 应用 | 与 R(D) 的关系 |
|---|---|---|
| JPEG | 图像 | 量化矩阵决定 D，比特率 ≈ R(D) |
| MP3/AAC | 音频 | 心理声学模型定义 d(x,y)，编码逼近 R(D) |
| H.264/H.265 | 视频 | 率失真优化(RDO)直接最小化 R + λD |
| AV1 | 视频 | 更精细的率失真优化 |
| Opus | 语音/音乐 | 比特率分配基于率失真分析 |
率失真优化（RDO）
现代视频编码器（如 H.265/HEVC）在每一帧的每一个编码决策中都进行率失真优化——选择使 R + λD 最小的编码模式，其中 λ 是拉格朗日乘子，直接来自率失真理论的对偶问题。
感知失真度量
- 均方误差(MSE)：数学上方便，但与人类感知不一致
- SSIM：结构相似性，更接近人类视觉感知
- LPIPS：基于深度特征的感知距离
- FID：分布级别的感知质量度量
学习式压缩
Ballé 等人 (2017–2020) 使用深度神经网络作为编码器和解码器，直接优化率失真目标函数 R + λD。VAE 的 ELBO 目标函数也可以从率失真理论理解：重构损失 = 失真 D，KL 散度项 = 比特率 R。
来源
- raw/books/信息论/07_shannon_1959_rate_distortion_theory.md — Shannon (1959) 深度解析