Kernel-Gradient Drifting Models
Maria Esteban-Casadevall, Jorge Carrasco-Pollo, Max Welling, Jan-Willem van de Meent, Erik J. Bekkers, Floor Eijkelboom
cs.LG, math.DG
2026-05-11
核梯度换掉欧氏位移,特征核因而可辨识。QM9球面版有效率38.9%,唯一性44.1%,逼近需蒸馏的PairFlow。
Drifting model 把多步采样收进训练。生成器把高斯噪声映成样本，沿核场走一步，再用 stop-gradient 拟合冻住的落点，目标不回传梯度。采样是一次前向，不蒸馏 diffusion 教师。场是吸引减排斥。核决定交互强度，欧氏位移决定方向。
高斯核里这两件事重合。核梯度正比于位移，漂移场等于 τ² 乘上两个平滑分布的 score 之差。场为零就得到模型分布等于数据分布，因为高斯平滑是单射。错误分布不能当不动点。
拉普拉斯核经验上常常更好。Turan 与 Ovsjanikov 归之于频谱：傅里叶模多项式衰减，高斯核是指数衰减。此时核加权位移并不正比于核梯度，远处样本被长度放大。Figure 2 中温度升高，箭头偏离密度比最大的方向，可辨识性失效。流形上该位移还不是切向量。
方向改成核梯度。吸引项是数据上 ∇k 的归一化期望，排斥项是模型样本上的同一期望，两者相减。高斯核只多一个因子 τ²。训练仍是走一步，再回归冻住的落点。
求导能进积分号时，场就是平滑密度比的 score，损失是一步平滑 score matching（Proposition 3.1）。场为零，平滑密度相等。特征核的平滑映射单射，原分布随之相等（Proposition 3.3）。
吸引和排斥的系数必须相同。系数不同，零场只说明两个 score 成比例，得不到平滑密度相等。非反对称核会崩，与这个条件一致。
在平滑分布上，这一步是 KL(q̂∥p̂) 的 Wasserstein 梯度流（Proposition 3.4）。训练移动的粒子没有做这层平滑。稳定性分析留着没做。
核梯度是切向量。流形上改用黎曼梯度，用指数映射更新，用对数映射写损失，步长要小于单射半径。类别分布通过 Fisher–Rao 映到球面正卦限，在那里做漂移，再读成碱基或 SMILES。
傅里叶不取零的欧氏平移不变核是特征核。测地径向核只在平坦空间对所有温度正定，曲面上没有可辨识保证。谱系数为正的 Matérn 核可以用，大 ν 趋向热核。球面用球谐，其他几何截断谱展开。
拉普拉斯核，3 个种子。棋盘和 swiss roll 放在 S² 与 H²，投影到二维。SW 为 sliced Wasserstein-2，越低越好。Tile 为棋盘黑格准确率，越高越好。
| 设定 | 欧氏位移 | 欧氏梯度 | 流形位移 | 流形梯度 |
| 棋盘 S² SW | 0.031±0.009 | 0.012±0.000 | 0.032±0.008 | 0.011±0.002 |
| 棋盘 S² Tile | 0.76±0.03 | 0.86±0.01 | 0.80±0.04 | 0.87±0.01 |
| 棋盘 H² SW | 0.026±0.003 | 0.025±0.001 | 0.063±0.022 | 0.037±0.013 |
| 棋盘 H² Tile | 0.79±0.01 | 0.85±0.02 | 0.80±0.02 | 0.90±0.01 |
| swiss roll S² SW | 0.018±0.002 | 0.014±0.002 | 0.030±0.003 | 0.014±0.002 |
| swiss roll H² SW | 0.041±0.001 | 0.026±0.000 | 0.042±0.007 | 0.044±0.015 |
梯度在同几何内几乎总更好。例外是双曲 swiss roll 的流形梯度 0.044±0.015，不优于流形位移 0.042±0.007。Figure 4 里高斯核与位移打平，ν=0.5 才分开。C2ST 读数正文没给。
地球事件用 MMD，越低越好。前两行来自 Deng 等。
| 方法 | 火山 | 地震 | 火灾 | 洪水 |
| 欧氏 Laplace 位移 | 0.146 | 0.044 | 0.036 | 0.064 |
| 欧氏 Gaussian 梯度 | 0.143 | 0.047 | 0.048 | 0.072 |
| 欧氏 Laplace 梯度 | 0.128 | 0.038 | 0.030 | 0.067 |
| 球面 Laplace 位移 | 0.113 | 0.043 | 0.049 | 0.064 |
| 球面 Gaussian 梯度 | 0.112 | 0.158 | 0.039 | 0.058 |
| 球面 Laplace 梯度 | 0.113 | 0.056 | 0.047 | 0.053 |
| 谱核 ν=2.5 | 0.126 | 0.037 | 0.029 | 0.070 |
四列最优分属三种配置。球面高斯梯度的地震项为 0.158，差于欧氏位移的 0.044。洪水在欧氏拉普拉斯改成梯度后从 0.064 升到 0.067。
启动子 DNA 比较 1-NFE。6-mer 看局部序列统计，Sei MSE 越低越好。
| 方法 | 6-mer | Sei MSE |
| G-PSD + v-pred | 0.82 | 0.035 |
| E-RMF + x-pred | 0.96±0.01 | 0.030±0.000 |
| L-RMF + x-pred | 0.88±0.00 | 0.027±0.001 |
| 欧氏位移 | 0.56±0.03 | 0.044±0.001 |
| 欧氏梯度 | 0.62±0.01 | 0.032±0.001 |
| 单纯形位移 | 0.70±0.10 | 0.047±0.004 |
| 单纯形梯度 | 0.82±0.02 | 0.045±0.004 |
| 球面位移 | 0.78±0.08 | 0.044±0.004 |
| 球面梯度 | 0.84±0.04 | 0.043±0.002 |
三种几何里梯度都优于位移。欧氏梯度的 Sei MSE 为 0.032，接近 G-PSD 的 0.035，6-mer 只有 0.62。球面梯度 6-mer 为 0.84±0.04，低于 E-RMF 的 0.96 和 S-RMF + v-pred 的 0.93，Sei MSE 0.043 差于 G-PSD 的 0.035 与 L-RMF 的 0.027。G-ESD 的 6-mer 是 0.13。训练没有教师。
QM9 生成 SMILES。表注写基线百分比来自一批 1024 条。
| 方法 | 有效率 | 唯一性 |
| UDLM+DCD | 31.5 | 31.3 |
| PairFlow+DCD | 44.3 | 44.1 |
| UDLM+ReDi | 5.8 | 5.8 |
| PairFlow+ReDi | 35.3 | 35.1 |
| 欧氏 Laplace | 22.0 | 40.0 |
| 球面 Laplace 梯度 | 38.9 | 44.1 |
有效率从 22.0 升到 38.9，唯一性从 40.0 升到 44.1，与 PairFlow+DCD 的唯一性打平，有效率仍低于 44.3。UDLM+ReDi 只有 5.8。
一步生成大多靠蒸馏多步教师。漂移直接训练一步映射，原证明要求高斯核加上欧氏位移。核梯度保留该特例，使特征核可辨识，更新写成切向量。球面用指数映射，类别数据经 Fisher–Rao 进入正卦限。
QM9 唯一性打平 PairFlow+DCD，DNA 仍落后 MeanFlow。没有图像实验。方向修正比换几何稳，后者会在地震数据上变差。
结论承认三点：只做了核方法，集中在 Matérn；对超参敏感；更宽的核和系统的稳定性研究还没有，离最强一步方法仍有差距。
平滑 KL 的梯度流只管平滑分布。实现里移动的是未平滑粒子，中间差多少没量。球面上的测地拉普拉斯不保证对所有温度正定，洪水列的 0.053 因此落在定理外面。四项最优 MMD 来自三种不同配置。
摘要写了无蒸馏的 state-of-the-art。DNA 表里 E-RMF 和 L-RMF 更好。QM9 的 38.9 与 44.1 没有标准差，合成只有 3 个种子。可辨识是无穷数据下的总体结论。有限样本、截断谱、对移动靶做 stop-gradient 回归，能否到达该不动点，正文没有证明。步长被要求小于单射半径，正文没有写这个条件多久起作用。
Franz 等证明原场只在高斯核下是势的梯度。Cao 等的实验停在二维玩具。这篇测量的是球面、DNA 与分子。