Gaussian Processes and Reproducing Kernel Hilbert Spaces: Connections and Equivalences
Motonobu Kanagawa, Philipp Hennig, Dino Sejdinovic, Bharath K. Sriperumbudur
stat.ML, cs.LG, math.NA, math.PR, math.ST
2025-06-20
这本约 160 页专著证明：高斯过程与 RKHS 方法在插值、回归、积分和分布比较上等价，根源是高斯希尔伯特空间与 RKHS 的典范等距。
正定核在机器学习里走了两条几乎平行的路。一条把未知函数当成高斯过程的样本，用协方差核做先验，算条件分布，得到估计和后验标准差。另一条在再生核希尔伯特空间里找又光滑又拟合数据的函数，典型是核岭回归、核插值、MMD、HSIC。两边共用同一个核，具体问题上早有等价，缺的是统一解释：为什么会等价，以及 RKHS 侧能不能继承 GP 的不确定性定量。
这是 Cambridge University Press 路子的专著，扩写 2018 年的技术报告。读者是做 GP 或核方法的研究者和学生，目标是让一边的定理能直接搬到另一边，而不是再发明一套语言。
统一视角是高斯希尔伯特空间（GHS）与 RKHS 之间的典范等距。对零均值 GP，这个等距把核的典范特征 k(·, x) 映成随机变量 F(x)，并保持线性组合和内积。于是「用数据子空间去投影待估量」在两边是同一件事：GP 侧在 GHS 里做，RKHS 侧在函数空间里做。
第 4 章把 GP 的线性泛函（点值、积分、导数、随机积分）定义成该泛函在 RKHS 里 Riesz 表示所对应的 GHS 元素。泛函对 GP 良定义，当且仅当它在核的 RKHS 上连续。定理 4.9 给出一条总等价：线性泛函在 GP 样本上的均方根，等于它在单位球 RKHS 函数上的最大绝对值。插值、回归、积分的具体等价都从这里长出来。
回归被写成「用正则化核做插值」：原核加上噪声协方差核。核岭回归的正则系数取噪声方差除以样本量时，估计量与 GP 后验均值重合，两边的最优收敛率也对上。分布比较一章把 MMD 写成 GP 样本在两个分布下均值差的均方根，把 HSIC 写成 GP 变换后的期望平方协方差，于是核积分和 Bayesian quadrature 是同一套算法的两种读法。
专著没有新的榜分数，给的是一组应该进工具箱的等价和澄清。
插值：GP 后验均值等于 RKHS 插值子。后验标准差等于待估点值到数据子空间的 RKHS 距离，也等于单位范数 RKHS 函数上的最坏误差。RKHS 方法因此自动带上不确定性定量。
回归：GPR 后验均值等于 KRR 估计量。后验方差加噪声方差，等于正则化核 RKHS 单位球上的最坏误差平方。van der Vaart 与 van Zanten 的 GP 后验均值最优速率，与 Fischer 与 Steinwart 的 KRR 速率在对应设定下重合。表面矛盾（GP 样本几乎必不在自己协方差核的无限维 RKHS 里）用「样本几乎必落在稍大一点的 RKHS」化解，Steinwart 2019 给出条件。
| 任务 | GP 侧 | RKHS 侧 | 连接 |
| 插值 | 后验均值 / 后验标准差 | 核插值子 / 最坏误差 | GHS–RKHS 等距 |
| 回归 | GPR 后验均值 | KRR | 正则化核上的插值 |
| 积分 / 采样 | Bayesian quadrature | 核积分、herding、thinning | MMD 的 GP 读法 |
| 依赖性 | GP 变换的期望平方协方差 | HSIC | 同一泛函的两种范数 |
做 GP 的人通常有不确定性、缺少分布距离的语言；做核方法的人通常有 MMD/HSIC、把后验方差当成别人的东西。这篇把两套词汇钉在同一个投影上。实务上，核岭回归的预测区间可以按 GP 后验方差来读；Bayesian quadrature 的设计准则可以按 MMD 最坏误差来读。建模假设并不打架：选一个核，就是同时选了 GP 样本的光滑度和 RKHS 函数的光滑度，Matérn 的 α 和 Squared-Exponential 的无限可微是同一条光谱的两端。
这是综述加统一证明，不是算法论文，没有新基准、没有实现对比、没有计算复杂度主定理。等距和等价针对的是线性估计和线性泛函；深度核、learned kernel、非高斯过程落在主叙事外面。GP 样本几乎必不在原生 RKHS 里这件事仍然成立，「稍大的 RKHS」依赖额外正则性，不能当成可以忽略的脚注。Convergence-rate 对齐要求正则系数取成噪声方差除以 n，乱调 λ 会拆掉等价。对只想调 GP 超参的工程师，这本约 160 页的书密度很高，第 2 章预备知识不能跳。