信道编码定理
概述
信道编码定理（Channel Coding Theorem）是 Shannon (1948) 的第二定理：对于传输速率 R < 信道容量 C，存在编码方案使得解码错误概率任意小；对于 R > C，不存在任何编码方案能使错误概率趋于零。
关键内容
定理表述
- R < C：存在编码方案使解码错误概率任意小
- R > C：不存在任何编码方案能使错误概率趋于零
惊人之处
- 存在性而非构造性：Shannon 证明了可靠通信方案的存在，但没有给出具体的编码算法
- 阈值效应：存在精确的阈值 C，低于阈值时错误可以任意小，高于阈值时灾难不可避免
- 随机编码论证：随机选择编码本，证明"好"的编码本以压倒性概率存在
历史进程
从 1948 年到 1993 年（Turbo 码），花了 45 年才在实践中逼近 Shannon 极限。Hamming (1950)、Reed-Solomon (1960) 等实用编码方案的发展直接受此定理启发。
来源
- raw/books/信息论/02_shannon_1948_mathematical_theory_of_communication.md — Shannon (1948) 深度解析
- raw/books/信息论/04_hamming_1950_error_correcting_codes.md — Hamming (1950) 深度解析
- raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 计算机科学视角深度解析