贝叶斯定理

概述

贝叶斯定理（Bayes' Theorem）是概率论中关于条件概率的一个基本定理，揭示了在获得新证据后如何更新对某事件概率的判断。其数学形式由托马斯·贝叶斯（1763年遗作）首先推导，后经皮埃尔-西蒙·拉普拉斯系统化。贝叶斯定理是贝叶斯推理的数学核心，也是统计学、机器学习、信号处理等领域的基础工具。

一般形式：

$$P(A \mid B) = \frac{P(B \mid A) \cdot P(A)}{P(B)}$$

其中： - P(A|B)：在 B 发生条件下 A 发生的概率 - P(B|A)：在 A 发生条件下 B 发生的概率（似然） - P(A)：A 发生的先验概率 - P(B)：B 发生的边缘概率（归一化常数）

完全形式（利用全概率公式展开分母）：

$$P(A_i \mid B) = \frac{P(B \mid A_i) \cdot P(A_i)}{\sum_j P(B \mid A_j) \cdot P(A_j)}$$

统计学形式（连续参数 θ）：

$$p(\theta \mid x) = \frac{p(x \mid \theta) \cdot p(\theta)}{p(x)} \propto p(x \mid \theta) \cdot p(\theta)$$

即：后验 ∝ 似然 × 先验

从条件概率的定义出发： $$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad P(B \mid A) = \frac{P(A \cap B)}{P(A)}$$

由两式可得 P(A∩B) = P(A|B)·P(B) = P(B|A)·P(A)，整理即得贝叶斯定理。

贝叶斯处理的是参数推断问题：给定均匀先验 p ~ U[0,1]，观测到 n 次试验中 k 次成功，p 的后验分布为：

$$P(p \in [a,b] \mid k) = \frac{\int_a^b p^k(1-p)^{n-k}\,dp}{\int_0^1 p^k(1-p)^{n-k}\,dp} = \frac{B(k+1,\,n-k+1;\,a,b)}{B(k+1,\,n-k+1)}$$

后验分布的形式是 Beta 分布 Beta(k+1, n-k+1)。

医疗检测例子：某疾病患病率 1%（先验）。检测准确率 99%（敏感性和特异性均为99%）。检测阳性后真正患病的概率？

这个反直觉的结果（很多人猜测接近99%）说明了为什么贝叶斯定理重要：低患病率（先验）大幅拉低了后验概率，即使检测很准确。