有噪信道编码定理

概述

信息论中的基本定理之一，也称为Shannon第二定理，证明了在有噪声的通信信道中，只要传输速率不超过信道容量，就可以实现任意低的错误概率。

关键内容

1. 定理陈述：对于任何离散无记忆信道，只要传输速率R严格小于信道容量C（即R < C），就存在一种编码方案，使得解码错误的概率可以被控制得任意小。

2. 逆定理：如果传输速率R超过信道容量C（即R > C），则无论使用何种编码方案，错误概率都不可能趋近于零。

3. 反直觉结论：该定理颠覆了当时的直觉——人们认为噪声信道中的可靠通信必须以降低传输速率为代价。Shannon证明，只要不超过信道容量，就可以同时实现高速率和高可靠性。

4. 随机编码论证：Shannon使用随机编码论证的方法证明了定理的存在性，但没有给出具体的构造方法。

5. 工程影响：为现代通信系统（从调制解调器到5G）提供了理论基础，通信系统的设计目标就是逼近香农极限。

来源

• A Mathematical Theory of Communication — original theory
• [[]] —

相关

• 信息论 — belongs_to_field
• Claude Shannon — developed_by
• 信道容量 — mathematical_basis
• 通信理论 — related_field
• 信源编码定理 — complementary_theorem
• 纠错码 — practical_application