信息与语义分离
概述
信息与语义分离是 Hartley (1928) 提出的认识论原则：信息度量必须与消息的"意义"分离，选择完全客观的标准——信息量取决于发送者在多少个可能的消息中做出了选择。
关键内容
核心论点
Hartley 在论文中明确指出：
"The word 'information' is used here in a special sense... the information is measured by the logarithm of the number of available choices."
三个层面的混淆
在 Hartley 之前，工程师们混淆了三个不同层面的问题：
| 层面 | 问题 | 性质 |
|---|---|---|
| 物理层面 | 信道能传输多少个不同的信号？ | 客观、可度量 |
| 语义层面 | 消息"包含"了多少"意思"？ | 主观、难量化 |
| 实用层面 | 接收者从消息中"获取"了多少"有用"的内容？ | 因人而异 |
Hartley 的决断是：只度量物理层面，完全排除语义和实用层面。
反直觉性
在日常理解中，"A 股今天涨了 5%"比"今天是星期三"包含更多"信息"，因为前者更"有用"。但 Hartley 认为，"有用性"是主观的、因人而异的、无法客观度量的。
Shannon 的明确重述（1948）
Shannon 在1948年论文开篇第一段以更明确的方式重申了这一原则：
"通信的根本问题是，在一端精确地或近似地重现在另一端所选择的消息。这些消息往往具有意义……但通信的语义方面与工程问题无关。"
Shannon 的贡献在于将这一原则从认识论立场转化为工程实践：他的整个理论框架——信息熵、信道容量、通信系统模型——都建立在语义中立的基础之上。一段莎士比亚的独白和一段随机字母序列，只要长度相同、字符分布相同，就包含同样多的"信息"。
深远影响
- 这一原则影响了 20 世纪的科学哲学，尤其是逻辑实证主义对"意义"的讨论
- 正因为不关心"意义"，信息论才能同时应用于电话、电视、互联网、DNA 序列和黑洞物理
- Shannon (1948) 完全继承了这一原则，并将其转化为完整的数学框架
- 当代大语言模型的训练目标（最小化交叉熵）完全不涉及"理解"语义，只涉及预测下一个 token 的概率分布——这正是 Shannon 语义中立立场的直接延续
来源
- raw/books/信息论/01_hartley_1928_transmission_of_information.md — Hartley (1928): Transmission of Information 深度解析
- raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 深度解析
相关
- 拉尔夫·哈特莱 — 提出者
- 信息论 — 所属学科的核心原则
- Hartley信息量 — 基于此原则建立的度量