信源编码定理
概述
信源编码定理（Source Coding Theorem）是 Shannon (1948) 的第一定理：一个信源产生的消息序列不可能被无损压缩到低于其熵率 H 的比特率，且存在编码方案使得平均码长任意接近 H。
关键内容
定理表述
不可能被无损压缩到低于熵率 H 的比特率，但存在编码方案使得平均码长任意接近 H。
数学表达
对于熵为H(X)的信源X，存在编码方案使得平均码长L满足 H(X) ≤ L < H(X) + 1。
物理意义
信源的熵衡量了它产生的消息的"不可压缩核心"。如果一个英文文本的每个字母平均携带 1.5 bit 的信息（考虑到字母频率不均匀和字母间的相关性），那么无论多么巧妙的压缩算法，每个字母平均都不能压缩到少于 1.5 bit。
渐近等分性
这一定理的证明使用了典型序列的概念——当消息足够长时，绝大多数实际产生的消息都集中在一个远小于所有可能消息的集合中，即"典型集"。
实际应用
从 ZIP 文件到流媒体视频，所有数据压缩技术的理论上限都由信源编码定理给出。该定理为Huffman编码、Lempel-Ziv算法等现代数据压缩技术提供了理论基础。
来源
- A Mathematical Theory of Communication — original theory
- raw/books/信息论/02_shannon_1948_mathematical_theory_of_communication.md — Shannon (1948) 深度解析
- raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 计算机科学视角深度解析