贝叶斯推理
概述
贝叶斯推理（Bayesian Inference）是一种统计推断范式：将未知参数视为随机变量，通过贝叶斯定理将先验信念与观测数据结合，得到后验分布，从而不断更新对参数的认识。由托马斯·贝叶斯（1763年）创立逆概率框架，经皮埃尔-西蒙·拉普拉斯（1774年独立发展并系统化），在20世纪计算能力提升后成为统计学和机器学习的核心范式之一，与频率学派形成两大统计推断传统。
关键内容
核心框架：先验 → 似然 → 后验
贝叶斯推理的完整流程：
$$\underbrace{p(\theta \mid x)}{\text{后验}} \propto \underbrace{p(x \mid \theta)}{\text{似然}} \cdot \underbrace{p(\theta)}_{\text{先验}}$$
| 步骤 | 名称 | 含义 |
|---|---|---|
| 1 | 先验 p(θ) | 观测前对参数的信念（可以是主观的或"无信息的"） |
| 2 | 似然 p(x|θ) | 给定参数，数据出现的概率（由统计模型决定） |
| 3 | 后验 p(θ|x) | 观测后对参数的更新信念 |
| 4 | 预测 p(x̃|x) | 对新数据的预测（对后验取期望） |
与频率学派的根本分歧
贝叶斯推理与频率学派（经典统计）在哲学上有根本分歧：
| 维度 | 频率学派 | 贝叶斯学派 | |------|---------|---------| | 概率的含义 | 长期频率（客观的） | 信念程度（主观的或逻辑的） | | 参数的性质 | 固定但未知的常数 | 随机变量，有概率分布 | | 推断目标 | 点估计 + 置信区间 | 后验分布 | | 先验信息 | 不使用（客观性要求） | 显式编码先验信念 | | 不确定性表达 | 置信区间（频率意义） | 可信区间（概率意义） |
贝叶斯方法的历史起源
逆概率问题（Bayes, 1763年）：在当时，概率论只能回答"已知 p，n 次试验 k 次成功的概率？"（正向问题）。贝叶斯首次系统解决了逆向问题：已知 k 次成功，p 的分布是什么？
贝叶斯的关键洞见是将 p 视为随机变量，赋予其先验分布（均匀分布），然后通过观测数据计算后验分布。这在当时是概念上的革命：参数不再是"未知的固定常数"，而是有分布的随机量。
拉普拉斯的独立发展（1774年）：拉普拉斯独立提出了更一般化的逆概率方法，并应用于天文学（彗星轨道推断）和人口统计学。由于拉普拉斯的工作更加完整和系统，贝叶斯思想的实际传播主要通过拉普拉斯的工作实现。
先验分布的选择问题
先验选择是贝叶斯推理中最具争议的问题：
| 先验类型 | 描述 | 示例 | |
|---|---|---|---|
| 均匀先验 | "无差别原则"，所有值等可能 | p ~ U[0,1]（托马斯·贝叶斯</td> </tr> <tr> <td>共轭先验</td> <td>后验与先验同族，[[计算便利 | Beta-Binomial 共轭对 |
| Jeffreys 先验 | 关于参数变换不变的"客观"先验 | 由 Harold Jeffreys 提出 | |
| 弱信息先验 | 编码极弱的领域知识 | 现代贝叶斯本人假设均匀先验（"在没有任何信息时，所有可能值等概率"），但这引发了持续至今的哲学争论：先验的"客观性"究竟是否可能？
先验影响随数据减弱一个关键性质：随着数据量增加，先验的影响逐渐减弱，后验主要由数据决定。这与大数定律相呼应——足够多的数据会"淹没"任何合理的先验选择。 形式上：若数据量 n → ∞，则后验分布趋近于以真实参数为中心的点质量（频率学派和贝叶斯学派结论收敛）。 现代应用贝叶斯推理在计算能力提升（尤其是 MCMC 方法，1990年代以来）后获得爆发式发展：
历史争议：频率学派 vs 贝叶斯学派20世纪统计学的两大主导思想之间存在激烈争论： - 频率学派（Neyman-Pearson, Fisher）：先验是主观的，科学方法应排除主观性 - 贝叶斯学派（Jeffreys, Savage, de Finetti）：不确定性的唯一一致度量是概率，先验是信息的编码 随着计算能力提升，21世纪的实践中两者越来越互补而非对立。 意义贝叶斯推理提供了"根据证据更新信念"的数学框架，这正是科学推理的核心。它将科学方法中隐含的推理过程（观察→假说修正→再观察）形式化为数学运算，是连接哲学认识论与应用统计学的桥梁。 来源
相关 |