切比雪夫不等式
概述
切比雪夫不等式（Chebyshev's Inequality）由帕夫努季·利沃维奇·切比雪夫于 1867 年发表，给出了随机变量偏离其均值的概率的上界：对任意随机变量 $X$，若 $E[X] = \mu$，$\text{Var}(X) = \sigma^2 < \infty$，则对任意 $\varepsilon > 0$：
$$P(|X - \mu| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}$$
其深刻之处在于不假设 $X$ 服从任何特定分布——纯粹基于均值和方差两个数字特征。这一特性开创了矩方法（method of moments）证明范式，使大数定律可以被证明而无需假设分布形式。
关键内容
- 不等式：$P(|X-\mu| \geq \varepsilon) \leq \sigma^2/\varepsilon^2$（等价形式：$P(|X-\mu| \geq k\sigma) \leq 1/k^2$）
- 证明：两行 Markov 不等式应用（$P(Y\geq a)\leq E[Y]/a$ 对 $Y=(X-\mu)^2$，$a=\varepsilon^2$）
- 威力：不依赖分布形式，是分布无关（distribution-free）概率界的原型
- 大数定律应用：设 $S_n = (X_1+\cdots+X_n)/n$，若各 $X_i$ 独立，有相同均值 $\mu$ 和有限方差 $\sigma^2$，则 $\text{Var}(S_n) = \sigma^2/n \to 0$，由切比雪夫不等式直接得 $P(|S_n - \mu| \geq \varepsilon) \leq \sigma^2/(n\varepsilon^2) \to 0$——这是弱大数定律的最简证明
- 矩方法：切比雪夫还发展了利用高阶矩证明中心极限定理的方法，这一方法论由马尔可夫继承和完善
来源
- raw/books/概率论/09_chebyshev_inequality_method_of_moments.md