信息几何
概述
信息几何（Information Geometry）将概率分布族视为黎曼流形，其度量张量由 Fisher 信息矩阵给出，KL 散度在局部近似为 Fisher 信息诱导的二次形式。
关键内容
核心思想
Amari (1985) 发展的信息几何将概率分布族视为黎曼流形： - 每个概率分布是流形上的一个点 - 度量张量由 Fisher 信息矩阵给出 - KL 散度在局部（两个分布很近时）近似为 Fisher 信息矩阵诱导的二次形式：
$$D_{\text{KL}}(P_\theta | P_{\theta+d\theta}) \approx \frac{1}{2} d\theta^T \cdot I(\theta) \cdot d\theta$$
统一框架
这一联系将 Kullback-Leibler、Fisher 和 Rao 的工作统一在微分几何的框架中，为统计推断、信息论和优化提供了统一的几何语言。
现代应用
- 自然梯度下降（Natural Gradient Descent）
- 变分推断的几何解释
- 神经网络的损失曲面分析
来源
- raw/books/信息论/05_kullback_leibler_1951_information_and_sufficiency.md — Kullback & Leibler (1951) 深度解析
- Information Geometry and Its Applications (Amari 2016)