一、概率分布的几何学
假设你在测量一枚硬币的公平程度。你可以抛掷它10次，得到6次正面——那么你对”这枚硬币的正面概率是多少”的最佳估计是0.6。但你的”不确定度”很重要：6/10和60/100给出相同的点估计，但直觉上后者更可靠。
现在想象你把所有可能的概率分布画在一个空间中。在这个空间里，每一个点对应一个特定的分布。两个分布之间的”距离”衡量它们在统计学意义上的差异。这个空间的弯曲程度——它的曲率——揭示了你从数据中提取信息的根本极限。这就是信息几何（Information Geometry）的核心思想：用微分几何的语言重新表达统计学。
这个领域的主要奠基人是日本数学家甘利俊一（Shun’ichi Amari）。他在20世纪80年代系统地建立了统计流形的微分几何框架，将Fisher信息矩阵推广为Riemannian度量，并引入了一族重要的仿射联络——α-联络——用来描述统计推断的几何性质。
二、Fisher度量：统计流形的”尺子”
一个统计模型的参数空间在什么意义上是一个”流形”？考虑一个简单的例子：所有均值为μ、方差为σ²的正态分布构成一个二维流形——由(μ, σ²)参数化。但这不是一个欧氏空间：在靠近均值的地方，分布之间的”差异”更容易被检测到；在分布的尾部，同样的参数差异可能导致更难以区分的分布。
Fisher信息矩阵提供了这个空间的自然度量。对正态分布族来说，Fisher度量是：
g_μμ = 1/σ², g_σσ = 2/σ²
这个度量告诉我们：对于给定的样本量，我们在σ²较小时更容易区分不同的μ值（因为1/σ²较大），而当σ²很大时μ的估计精度会下降——这是我们在统计学入门课上就学到的常识，现在被赋予了精确的几何意义。
Chentsov定理是信息几何的基石之一，由苏联数学家N.N. Chentsov在1972年证明：在适当的正则条件下，Fisher信息度量是统计流形上唯一在充分统计量变换下不变的Riemannian度量。换句话说，这不是我们”选择”的度量——它是统计学内在的几何结构。
三、α-联络与对偶平坦结构
Riemannian度量只告诉我们”距离”，而联络（connection）告诉我们”平行”的含意——一个向量从一个点”平行移动”到另一个点是什么意思。
在欧氏空间中，”平行”是唯一的。但在统计流形上，Amari发现存在一个自然的对偶结构：对于每一个联络∇^(α)，存在一个对偶联络∇^(-α)，使得流形成为一个”对偶平坦空间”（dually flat space）。
这个结构绝不仅仅是数学上的装饰。它直接对应着统计学中最基本的两个概念：
- m-联络（α=-1，混合联络）：对应指数族的混合坐标
- e-联络（α=1，指数联络）：对应指数族的自然参数
在这两个对偶联络之间，存在着一个广义的勾股定理（Pythagorean theorem），它推广了经典信息论中关于KL散度的三角不等式。
四、深度学习中的信息几何
信息几何不只是漂亮的数学。在机器学习的时代，它正在找到越来越具体的应用。
自然梯度下降（Natural Gradient Descent）是信息几何最直接的应用。标准的梯度下降假设参数空间是平坦的欧氏空间，但神经网络的实际参数空间是一个弯曲的流形。Amari的自然梯度使用Fisher度量的逆来”修正”梯度方向：
θ_{t+1} = θ_t – η F(θ_t)^{-1} ∇L(θ_t)
其中F是Fisher信息矩阵。这实际上是在统计流形上沿着最陡峭的”统计方向”下降，而不是沿着参数空间的任意坐标方向。在强化学习和贝叶斯推断中，自然梯度经常显著优于标准梯度——特别是在参数空间高度弯曲的区域。
神经网络的信息瓶颈理论由Naftali Tishby提出，可以自然地用信息几何来表述：学习过程可以被看作是在统计流形上寻找一个既保留输入信息（充分压缩）又能够泛化（不过度拟合）的”中间点”。信息几何为这种直觉提供了精确的数学框架——包括学习动态的微分方程描述和泛化误差的几何界限。
2025年，《Entropy》期刊的专刊探讨了统计流形几何的最新扩展，包括非参数模型和无限维流形上的信息几何——这直接关系到现代深度学习中的”过参数化”现象。
五、几何作为理解的透镜
信息几何的深层洞见是哲学的，也是数学的：最好的理解往往来自对结构的几何直觉，而不是对公式的代数推导。 当我们把统计推断重新表述为流形上的几何问题，统计中的许多核心概念——充分性、效率、信息、偏差——都获得了新的透明性。
在某种意义上，信息几何完成了R.A. Fisher在1920年代开创的工作。Fisher提出了”信息”的概念但未能给出一个满意的理论基础。Amari和Chentsov等人为Fisher的直觉建立了一座几何大厦——而今天的人工智能革命，正在为这座大厦找到它最戏剧性的应用场景。