信源信道分离定理

概述

Shannon 证明的优雅定理：信源编码（压缩）和信道编码（纠错）可以分别独立优化，而不会损失总体性能。最优通信系统可分解为两个独立步骤——先压缩去冗余，再加保护性冗余。

对于一个给定的信源和信道，分别进行最优信源编码和最优信道编码所得到的系统，其性能与联合最优设计完全相同。

换言之，通信系统可以被分解为两个独立的模块： 1. 信源编码：去除冗余，将消息压缩到接近熵率 H 的比特率 2. 信道编码：添加保护性冗余，使压缩后的比特能够可靠地通过噪声信道

这一分离定理为通信系统的模块化设计提供了严格的理论保障： - 压缩算法的设计者不必关心信道特性 - 纠错编码的设计者不必关心信源统计特性 - 两者可以独立开发、独立优化、独立测试

今天所有现代通信系统都遵循分离架构： - 音频：MP3/AAC 压缩 + 信道编码 - 视频：H.264/H.265 压缩 + 信道编码 - 数据：ZIP/LZ 压缩 + 信道编码 - 5G：独立的压缩层和纠错层

在多用户通信（网络信息论）场景下，分离定理不一定成立。联合信源信道编码在某些多用户场景中可以获得比分离设计更好的性能。但在点对点通信中，分离定理始终成立。