信息论
概述
由Claude Shannon在1948年创立的数学学科，研究信息的量化、存储和通信的基本理论。
关键内容
诞生背景
1920年代电信工业高速发展，工程师们需要回答：如何量化一个通信系统传输"信息"的能力？ 在此之前，"信息"是日常词汇，没有人能给出精确的数学定义。
思想发展链
| 年份 | 人物 | 贡献 |
|---|---|---|
| 1924 | 奈奎斯特 | 分析带宽与传输速率关系，提出信息量 ∝ log m |
| 1928 | 拉尔夫·哈特莱 | 定义信息量 H = n · log s，分离信息与语义 |
| 1948 | Claude Shannon | 建立概率化信息熵 H(X) = -Σ pᵢ log pᵢ，统一信息、噪声、信道容量 |
核心原则（继承自 Hartley）
- 客观性：信息量不依赖于人类对消息的主观解读
- 可加性：独立消息的信息量可以相加
- 对数性：信息量与可选消息数目的对数成正比
核心概念与定理
应用领域
信息论同时应用于电话、电视、互联网、DNA序列和黑洞物理——正因为不关心"意义"，才能成为普适科学。
来源
- A Mathematical Theory of Communication — founding paper
- Claude Shannon — founder
- raw/books/信息论/01_hartley_1928_transmission_of_information.md — Hartley (1928): Transmission of Information 深度解析
- raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 计算机科学视角深度解析
- Elements of Information Theory (Cover & Thomas 2006)