Acceleration and its Limits in Gaussian Variational Inference
Jaesung R. Park, Uijeong Jang, Yifan Chen
stat.ML, cs.LG, math.OC
2026-10-15
强对数凹目标上,精确高斯积分让 GVI 的动量法以 √κ 量级迭代收敛;只给逐点导数时,均匀查询下限是 κ^{1-o(1)},Hessian 变化够小才能把加速捡回来。
α 强凸、β 光滑时,梯度下降要 O(κ log(1/ε)) 次迭代,κ=β/α。Nesterov 动量收成 O(√κ log(1/ε))。高斯变分推理(GVI)在 q=N(m,Σ) 上最小化 F(q)=Eq[V]-H(q)。F(q)-F 就是相对最佳高斯近似的反向 KL 超出量。
目标若 αI⪯∇²V⪯βI,高斯期望继承同一曲率,均值加协方差因子上的 GVI 是凸复合问题。期望精确可算,加速近端梯度直接可用。实际多半只有逐点导数,期望用蒙特卡洛估。无偏随机梯度的加速式还带 σ²/(αε),方差取决于目标、参数和估计器。只靠曲率,总查询能不能也是 √κ,要分开看精确积分和逐点访问。
Σ 写成 LL^⊤(对角为正的下三角)或 C²(对称正定平方根)。熵 -log det 的近端有闭式,对角或特征值取 ϕη(y)=(y+√(y²+4η))/2。加速留在欧氏坐标即可,不必改用 Bures–Wasserstein 几何,也就是在分布空间里量两个高斯的距离。
精确期望下,Algorithm 1 步长 1/β,动量 (1-κ^{-1/2})/(1+κ^{-1/2})。Theorem 2.1 给出 F(qk)-F≤(1-κ^{-1/2})^k Δ0,Δ0 含初始间隙和到最优参数的距离。迭代 ⌈√κ log(Δ0/ε)⌉,每步一次精确能量梯度。
逐点导数保不住这个速率。Theorem 3.1 的难例只有 d=Θ((log κ)²) 维。每个势沿隐藏方向 v,从大球上切掉一小块帽。帽外,它与一个和 v 无关的参考势全同,任意有限阶导数也全同。帽内曲率抬到 κ。N(0,I) 的目标间隙对整族都是 1+o(1)。随机的 v 下,固定点打中帽的概率至多 κ^{-1+o(1)},好比在高维球里摸一块小区域。打不中,轨迹与参考势相同,输出不含 v。一个与 v 无关的高斯,也不能对大多数方向既靠近 N(0,I),又压住那条尾巴。因此任意随机算法,即使用任意固定阶导数,要把整族期望间隙降到固定 ε0,查询至少 κ exp(-C(log κ)^{3/4}),也就是 κ^{1-o(1)}。poly(d)√κ 不成立。这族 Hessian 变化大,因此落在加速定理的前提外面。
小变化用 Hessian 李普希茨常数 LH,写成 λH=LH/α^{3/2}。λH=0 时目标就是高斯。四个估计器把非二次残差关进方差。
因子限制在曲率盒子内,最优解在内部,逆因子有界。四套迭代都是 O(√κ log(2Δ0/ε))。查询总数也要加速,需要 λH² d²≲ε√κ,使方差项不超过这个迭代项。此时二阶 batch 可以是常数,一阶 batch 是 O(d)。
| 设置 | 指标 | 结果 |
| 精确期望的加速近端梯度 | 迭代 | ⌈√κ log(Δ0/ε)⌉ |
| 仅曲率界,任意有限阶逐点导数 | 固定精度查询 | ≥ κ exp(-C(log κ)^{3/4});d=Θ((log κ)²),初始间隙 1+o(1) |
| FD、STL | 梯度查询 | O((d√κ+λH² d³/ε) log(2Δ0/ε)),无 HVP |
| Paired | 梯度查询 | O((√κ+λH² d²/ε) log(2Δ0/ε)),HVP 再乘 d |
| 朴素重参数 | 方差项 | 上界可到 κ²,√κ 被吃掉 |
Table 1 把 Price–STL 放在与 Paired 相同的二阶查询阶。
高斯目标上 LH=0。STL 投影加速对照不带动量的版本,batch 64,从 N(0,I) 出发,κ 从 10 到 3000。平均 KL 降到 10^{-6} 的更新数,带动量按 √κ 涨,不带动量按 κ 涨。κ=300 是 5 个种子的均值,带 20–80 分位。
五个 OpenML 二分类数据集上的 graph-probit 后验,二分类观测配图拉普拉斯高斯先验,图中包括 Sonar、WDBC、Diabetes、Banknote。10 近邻图,先验精度 I+τLG,τ=49。κ=2+τλmax(LG) 随 τ 变差,LH 不随 τ 变,用来拆开条件数和 Hessian 变化。十七种方法,含 DGG-Prox、DGG-STL、Price-SPGD、SVRGVI、FB-GVI 五个基线,从 N(0,I) 跑 600 步、5 个种子,间隙相对高精度数值参考。batch 64 时,除 STL-proj 外,加速版都在五个数据集上比配对的非加速版更早降到初始平均间隙的 10^{-5}。STL 的 batch 应随维数涨,小 batch 下动量可能更慢。batch 256 时,五个数据集上都更早到达 1% 阈值,最终间隙更小。
全协方差 GVI 仍是要均值和协方差时的常用贝叶斯近似。期望有闭式,迭代可以对 κ 开方。只有逐点导数时,存在强对数凹、对数光滑的一族目标,维数只是 (log κ) 的平方,初始间隙是常数,任何随机算法都给不出均匀的 √κ 查询复杂度。
强对数凹采样近年已经做到次线性条件数。GVI 以超出反向 KL 计误差、以逐点导数为访问时,同一条曲率假设不够。后验接近高斯,FD、Paired、Price–STL 加上动量,查询可以留在加速主项里。明显非二次的后验,这里没有加速保证。
自然梯度受同一条查询下限约束,实践里却常常不差。它不在那十七个方法里。欧氏动量靠的是复合凸结构加上方差削减,几何方法靠另一套结构。哪边在真实后验上更省查询,这篇没有对照。
维数因子没有收紧。FD 与 STL 的方差项带 d³,协方差参数量本身是 d²。已有非加速分析里迭代对 d 是线性的,高维上这篇的上界可能先被多项式盖住。Price–STL 要收到对 d 线性,需要额外结构,而且只写在附录。batch 的充分条件里还有四位数的绝对常数。
λH² d²≲ε√κ 没法事前检验,真实后验的 LH 通常未知。graph-probit 故意让 LH 不跟 τ 走,τ=49,五个数据集、600 步、5 个种子。这组结果推不到贝叶斯神经网络。下限是最坏族上、固定精度 ε0 的均匀复杂度,单个目标可以好解得多。难例的 Hessian 变化大,与加速定理互斥。精确能量梯度是理想化调用,非二次的 V 给不出。结论点名要比较的自然梯度,没有进实验。
论文披露,证明探索、步骤检查、实验代码起草和文字润色用了 GPT-5.6 Sol 与 GPT-6 Astra,数学结论和实验结果由作者核过。