托马斯·贝叶斯
概述
托马斯·贝叶斯（Thomas Bayes，约1701–1761）是英国长老会牧师和业余数学家，贝叶斯定理和贝叶斯推理的创立者。他提出并解决了"逆概率问题"：已知试验结果，如何推断导致这些结果的未知参数的概率？这一框架在250年后成为统计学和机器学习的核心范式之一。贝叶斯的论文在其去世后由朋友 Richard Price 整理，于1763年发表在《伦敦皇家学会哲学汇刊》。
关键内容
生平
- 生卒年：约1701–1761
- 国籍：英国
- 职业：非国教派（Nonconformist）牧师，任职于英格兰肯特郡 Tunbridge Wells
- 英国皇家学会会员（1742年）
- 生前未以真名发表数学著作；唯一已知著作为身后出版的概率论论文
论文的发表经过
贝叶斯去世后，其友人 Richard Price（1723–1791，威尔士道德哲学家）整理了他的手稿，撰写了重要导言和附录，于1763年将论文提交皇家学会，发表于 Philosophical Transactions of the Royal Society of London（Vol. 53, pp. 370–418）。
Price 的贡献不可忽视：他给出了贝叶斯积分的数值近似方法，并将结果应用于"日出问题"等具体场景，对贝叶斯思想的传播起了关键作用。
核心贡献：逆概率问题
在贝叶斯之前，概率论只解决正向问题（已知 p，计算结果概率）。贝叶斯首次系统解决了逆向问题：
进行 n 次独立试验，观察到 k 次成功，未知概率 p 落在 [a, b] 内的概率是多少？
台球桌思想实验：先随机滚一颗白球（位置均匀分布），再滚 n 颗红球，以白球左边/右边判断失败/成功。给定 k 次成功，推断白球位置（即 p）的分布。这一构造确保未知参数具有均匀先验分布，使推导自然合理。
关键结果：在均匀先验下，观测到 k 次成功后，p 的后验分布为 Beta(k+1, n-k+1)：
$$P(p \in [a,b] \mid k\text{ 次成功}) = \frac{\int_a^b p^k(1-p)^{n-k}\,dp}{\int_0^1 p^k(1-p)^{n-k}\,dp}$$
局限性
- 均匀先验假设（无差别原则）引发大量哲学争议
- 仅处理单参数二项问题，未推广为一般理论
- 贝叶斯积分计算困难，限制了实际应用
- 未完成推广——这一工作由皮埃尔-西蒙·拉普拉斯（1774年独立发展逆概率方法）完成
在概率论史中的地位
贝叶斯开创的方向与帕斯卡–费马–惠更斯–伯努利的主线不同——他不是发展计算技术，而是提出了一个全新的认识论框架：将未知参数视为随机变量，通过数据不断更新信念。这一框架经拉普拉斯系统化、20世纪贝叶斯学派发展，至今是统计学和机器学习的核心范式之一。
来源
- raw/books/概率论/05_bayes_essay_inverse_probability.md