互信息

概述

互信息（Mutual Information）度量两个随机变量共享的信息量：I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)，是信道容量定义的核心组件。

关键内容

定义

$$I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X) + H(Y) - H(X,Y)$$

数学性质

• X 和 Y 独立时：互信息为 0
• Y 完全由 X 决定时：互信息等于 H(X)
• 互信息衡量"知道 X 后，对 Y 的不确定性减少了多少"

在信道容量中的角色

信道容量 C = max I(X;Y)，即通过选择最佳输入分布 p(x) 来最大化发送方和接收方之间的共享信息量。

在机器学习中的应用

互信息最大化是现代机器学习的核心概念之一，用于特征选择、表示学习和信息瓶颈方法。

物理意义

互信息度量了由于知道一个变量而使另一个变量的不确定性减少的程度，反映了两个变量之间的相互依赖程度。

来源

• A Mathematical Theory of Communication — original theory
• raw/books/信息论/02_shannon_1948_mathematical_theory_of_communication.md — Shannon (1948) 深度解析
• raw/books/计算机科学/02-shannon-mathematical-theory-of-communication.md — Shannon (1948) 计算机科学视角深度解析

相关

• 信息熵 — 定义基础
• 信道容量 — 通过互信息最大化定义
• 信息论 — 所属学科
• Claude Shannon — developed_by
• 熵 — related concept
• 条件熵 — related concept