克劳德·香农

概述

克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916–2001）是美国数学家和电子工程师，"信息论之父"，1948 年发表"A Mathematical Theory of Communication"，建立了完整的信息论数学框架。

关键内容

学术准备

1937 年硕士论文：证明布尔代数可用于分析和设计电子开关电路，被认为是数字电路设计的理论基础，被 Howard Gardner 称为"可能是所有时代最重要的硕士论文"
1940 年博士论文：研究人类遗传学的代数结构
1941–1945 年：在贝尔实验室参与军事密码学研究，完成机密报告"A Mathematical Theory of Cryptography"
1948 年论文发表时仅 32 岁

与 Hartley 的关系

Shannon (1948) 在论文开篇即引用 Hartley (1928)，明确指出自己的理论是 Hartley 框架的概率化推广
Shannon 信息熵在等概率分布下退化为 Hartley 信息量：H(X) = -Σ pᵢ log pᵢ，当 pᵢ = 1/s 时 = log s
"bit"术语来自同事约翰·图基

Shannon 对 Hartley 局限的解决

概率化信息熵：H(X) = -Σ pᵢ log pᵢ，处理了符号不等概率的情况
微分熵：处理了连续信号的信息度量问题
信道容量：统一了信息、噪声和信道容量

三大定理

信源编码定理：消息序列不可能被无损压缩到低于其熵率 H 的比特率
信道编码定理：传输速率 R < C 时存在编码方案使解码错误概率任意小
保密系统理论：在 1949 年密码学论文中完善

历史地位

Nyquist (1924) → Hartley (1928) → Shannon (1948) 构成信息论诞生的清晰思想链。Shannon 是这一链条的集大成者。

论文标题的微妙含义

Shannon 的论文标题使用了不定冠词"A"而非"The"——他认为自己提出的是"一种"通信的数学理论，而非声称它是唯一的理论。1949年，当Warren Weaver为这篇论文撰写导读并合编为书出版时，书名改为了 The Mathematical Theory of Communication——这个微妙的改动标志着学术界对 Shannon 理论之普适性的认可。

编码理论的半世纪征程

Shannon 定理激发了编码理论的蓬勃发展，从 Hamming 码（1950）到 Turbo 码（1993）、LDPC 码（1996 重新发现）再到 Polar 码（2009），人类用了半个多世纪才将 Shannon 的理论承诺变为工程现实。

来源

raw/books/信息论/01_hartley_1928_transmission_of_information.md — Hartley (1928): Transmission of Information 深度解析
raw/books/信息论/02_shannon_1948_mathematical_theory_of_communication.md — Shannon (1948): A Mathematical Theory of Communication 深度解析
raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 计算机科学视角深度解析
A Mathematical Theory of Communication (Shannon 1948)