交互式教学

理解 Gaussian Process
从先验到后验

从高斯过程的核心直觉出发，逐步理解 MCMC 如何采样后验分布，以及 HMC 如何利用物理动力学加速探索。每一步都有可视化演示。

什么是高斯过程？

高斯过程是函数空间上的概率分布。给定任意有限个输入点 $x_1, \ldots, x_n$，对应的函数值 $f(x_1), \ldots, f(x_n)$ 服从一个多元正态分布：

f(\mathbf{x}) \sim \mathcal{GP}\big(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}')\big)

其中 $m(\mathbf{x})$ 为均值函数，$k(\mathbf{x}, \mathbf{x}')$ 为核函数（协方差函数）。核函数编码了我们对函数平滑性、周期性等先验信念。

核函数家族

RBF (SE)

$$k(x,x') = \sigma^2 \exp\!\Big(-\frac{(x-x')^2}{2\ell^2}\Big)$$

无限可微，产生极其平滑的函数样本

Matérn 3/2

$$k(x,x') = \sigma^2\Big(1+\frac{\sqrt{3}|x-x'|}{\ell}\Big)\exp\!\Big(-\frac{\sqrt{3}|x-x'|}{\ell}\Big)$$

一阶可微，更适合金融数据等不要求无限光滑的场景

Periodic

$$k(x,x') = \sigma^2 \exp\!\Big(-\frac{2\sin^2(\pi|x-x'|/p)}{\ell^2}\Big)$$

捕捉周期性结构，可在本页手动调节周期 $p$

先验到后验

观察到数据 $\mathcal{D} = \{(\mathbf{X}, \mathbf{y})\}$ 后，GP 后验预测为：

\mu_* = \mathbf{K}_{*f} [\mathbf{K}_{ff} + \sigma_n^2 \mathbf{I}]^{-1} \mathbf{y}

\Sigma_* = \mathbf{K}_{**} - \mathbf{K}_{*f} [\mathbf{K}_{ff} + \sigma_n^2 \mathbf{I}]^{-1} \mathbf{K}_{f*}

这个更新过程就是贝叶斯推断的精髓：先验 + 数据 → 后验。右侧的可视化展示了 GP 先验样本和加入观测点后的后验更新。

计算瓶颈：矩阵求逆 $[\mathbf{K}_{ff} + \sigma_n^2 \mathbf{I}]^{-1}$ 的复杂度为 $\mathcal{O}(n^3)$，这是 GP 面对大数据集时的核心挑战。

核函数: 长度尺度 ℓ: 1.0

点击画布添加观测点，切换「显示后验」查看 GP 如何更新预测

HMC：物理直觉驱动的高效采样

Hamiltonian Monte Carlo (HMC) 借用经典力学的哈密顿动力学，把 MCMC 采样变成一个物理系统的模拟。本演示在 $z=(\log \ell, \log \sigma_f)$ 空间中运行 HMC。核心思想：

🏒

冰球类比：想象在一个地形上滑动冰球——地形的高度对应负对数后验密度 $-\log p(z|\mathcal{D})$。冰球的动量帮助它爬坡越谷，高效地探索整个地形。

哈密顿方程

引入辅助动量变量 $\mathbf{p}$，定义哈密顿量：

H(z, \mathbf{p}) = U(z) + K(\mathbf{p}) = -\log p(z|\mathcal{D}) + \frac{1}{2}\mathbf{p}^T \mathbf{M}^{-1} \mathbf{p}

系统按哈密顿方程演化：

\frac{dz}{dt} = \frac{\partial H}{\partial \mathbf{p}} = \mathbf{M}^{-1}\mathbf{p}, \qquad \frac{d\mathbf{p}}{dt} = -\frac{\partial H}{\partial z} = -\nabla U(z)

Leapfrog 积分器

半步动量更新：$\mathbf{p}_{t+\epsilon/2} = \mathbf{p}_t - \frac{\epsilon}{2}\nabla U(z_t)$

全步位置更新：$z_{t+\epsilon} = z_t + \epsilon\, \mathbf{M}^{-1}\mathbf{p}_{t+\epsilon/2}$

半步动量更新：$\mathbf{p}_{t+\epsilon} = \mathbf{p}_{t+\epsilon/2} - \frac{\epsilon}{2}\nabla U(z_{t+\epsilon})$

重复 $L$ 步后，用 Metropolis 准则接受/拒绝。Leapfrog 的辛性质（symplectic property）保证了哈密顿量近似守恒，使接受率极高。

HMC vs MCMC 核心对比

	Random Walk MH	HMC
提议机制	随机扰动（各向同性）	沿梯度的确定性轨迹
混合速度	$\mathcal{O}(d^2)$	$\mathcal{O}(d^{5/4})$
最优接受率	~23.4%	~65%
梯度需求	不需要	需要 $\nabla \log p(z)$
高维表现	灾难性退化	扩展性良好

NUTS：自适应 HMC

No-U-Turn Sampler (NUTS) 自动调节轨迹长度 $L$，通过检测 U-turn 条件 $\mathbf{p} \cdot (z - z_0) < 0$ 避免不必要的计算。Stan、PyMC、NumPyro 均默认使用 NUTS。

GP + HMC 的完美组合：在 GP 超参数推断中，边际似然对核超参数的导数可解析计算。本演示直接用解析梯度来更新 $z=(\log \ell, \log \sigma_f)$ 的 HMC 轨迹；若当前核为 periodic，则 $p$ 固定为当前设置值。

步长 ε: 0.08 Leapfrog 步数 L: 20

超参数空间 (ℓ, σ_f)

实现说明：采样在 z = (log ℓ, log σ_f) 空间进行，并以原始 (ℓ, σ_f) 坐标显示轨迹。

当前超参数对应的 GP 后验

对比 HMC（蓝色）与 MH（红色）在 GP 超参数后验上的采样效率，下图实时显示 GP 预测

请先在「高斯过程」Tab 中点击画布添加至少 2 个观测点，然后回到此页运行采样。

三者关系

函数空间上的非参数贝叶斯模型

需要超参数推断 →

MCMC

从后验分布中采样的通用框架

梯度加速 →

HMC

利用哈密顿动力学的高效 MCMC

理解 Gaussian Process
从先验到后验

什么是高斯过程？

核函数家族

RBF (SE)

Matérn 3/2

Periodic

先验到后验

MCMC：从后验分布中采样

Metropolis-Hastings 算法

关键问题：随机游走的诅咒

收敛诊断

HMC：物理直觉驱动的高效采样

哈密顿方程

Leapfrog 积分器

HMC vs MCMC 核心对比

NUTS：自适应 HMC

三者关系

理解 Gaussian Process从先验到后验

什么是高斯过程？

核函数家族

RBF (SE)

Matérn 3/2

Periodic

先验到后验

MCMC：从后验分布中采样

Metropolis-Hastings 算法

关键问题：随机游走的诅咒

收敛诊断

HMC：物理直觉驱动的高效采样

哈密顿方程

Leapfrog 积分器

HMC vs MCMC 核心对比

NUTS：自适应 HMC

三者关系

理解 Gaussian Process
从先验到后验