The information geometry of product-reference discrete diffusion: Interaction growth complexity and optimal scheduling
Martin J. Wainwright
stat.ML, cs.AI, cs.LG, math.ST
2026-08-29
为乘积参考离散扩散定义 IGC:等距调度复杂度由总质量决定且不超过 2 min{TC,DTC},最优调度落到平方根积分;参考选错可差 √d。
离散扩散把干净样本用字母表上的 Markov 核逐步加噪,再近似反向去噪。反向精确核的状态空间随维度指数膨胀,实践里用的是逐坐标独立更新:把联合反向核换成各坐标边缘的乘积。Lou 等人证明过,在 τ-leaping 一类策略里,这种 token 独立转移对每个输入状态都是 KL 最优的。
理论缺口在适应低维结构。掩码扩散已经被 Dmitriev、Huang、Wei 证明,采样表现由一种被 min{TC, DTC} 上界的量控制,能跟着隐变量、随机块这类低维依赖走。同一篇工作给一种非掩码 CTMC 采样器配了随维度变差的上界,以及算法下界:那种具体方案适应不了低维结构。开放问题很清楚,有没有别的离散扩散采样器能适应?
Wainwright 给出肯定答案。对象是乘积参考扩散(product-reference diffusion, PRD):终端噪声是任意乘积分布,反向每步用精确反向桥的坐标边缘乘积。均匀噪声、吸收态、按数据边缘匹配,都在这个类里。
前向过程用平方可靠度 r∈[0,1] 做时间。每个坐标以 √r 的概率原样保留,否则从参考分布 νi 重采样。r=1 是干净数据 Z,r=0 是乘积参考。这个通道满足半群恒等式,所以是一条连续参数 Markov 过程。
反向精确核要用整条路径上的边际密度,算不动。PRD 的三步是:
复杂度不看互信息的绝对值,看它沿路径掉得有多快、坐标之间如何交叉掉。给每个坐标单独一个可靠度 ti,互信息 Info(Z; Xt) 的 Hessian 非对角元之和取负,得到 g(r)。再乘权重 r(1-r) 积分,得到区间上的 IGC 质量 G(a,b)。换到 log-SR-odds 坐标 λ=log(r/(1-r)),密度记作 q(λ)。白话说,q 记录的是去噪走到这一层时,坐标间交互还剩多少、正在以多快的速度被拆掉。
选这个时间坐标是被 Theorem 1 逼出来的。一步 KL 上界的前因子是平方可靠度赔率 ψ(r)=r/(1-r) 的比值减一。等距走 λ,这个前因子每步相同,调度可以在不知道 q 长什么样时就定下来。
真实结构其实是二元的。二元 IGC 核 QIGC(η,ξ) 是切互信息的混合偏导,对角线上 QIGC(η,η)=q(η)。一步精确 KL 误差等于 QIGC 在上三角的二重积分,G 等于对角线积分。Q 相对对角线有指数三明治:离对角线 |ξ-η| 越远,核值被 e^{|ξ-η|} 控制。靠这条,聚合 IGC 质量被 2 min{TC, DTC} 上界。
若有干净样本,可以把路径上的 KL 导数写成 Bregman 散度,对每个区间给出无偏的 IGC 增量估计,再按块分配步数。
Theorem 1:任意网格上,输出相对目标的 KL 不超过 2 Σj (ψ(r{j+1})/ψ(rj)−1) G(rj, r{j+1}),外加初始化 TC(X{r0}) 和收尾 TC(Z | XR)。对称端点 rN=1-r0 时,这两项 ≤ c r0 (d|A|)^3。取 r0=(d|A|)^{-k}、k≥4,端点误差按多项式消失,步数只对 r0 取对数。
等距 log-SR-odds 网格(Corollary 1,要求 N≥2ℓd):KL ≤ (8ℓd / N) G(r0, 1-r0)+端点项,ℓd=log((1-r0)/r0)。要 ε-准确,迭代次数量级是 (G/ε) log(d|A|/ε)。再结合 G(0,1)≤2 min{TC(Z), DTC(Z)},等距 PRD 直接继承掩码文献里对隐马尔可夫、随机块模型、量化隐变量的那些低维上界。
精细网格极限(Theorem 3)把上界收成渐近等式。等距网格的精确一步 KL 之和等于 CIGC/(2N)+o(1/N);最优 N 步网格等于 PIGC/(2N)+o(1/N)。CIGC=2ℓd ∫q,PIGC=(∫√q)^2。Cauchy–Schwarz 给出 CIGC/PIGC ≥1,等号当且仅当 q 为常数。q 越不均匀,优化步长越划算。
多块调度把区间切成 K 段,块内仍等距,块间按 √(Sk Gk) 分配步数。这个显式分配相对该分割下的最优整数规划,上界差一个常数 4。分割越细,复杂度单调降到 PIGC。
参考分布 ν 会重塑 q。论文用成对独立的二元分布做了两组构造,没有在语言或图数据上跑采样器对照:
| 构造 | 参数 | 均匀参考 | 吸收态参考 | 边缘匹配参考 |
| Ensemble A | εd=d^{-1/2} | 聚合 IGC 不随 d 爆炸 | 与均匀相近 | 聚合 IGC 按 Θ(√d) 增长 |
| Ensemble B | 1-εd=d^{-1} | 常数阶 | Θ(log d) | 正文未给渐近式 |
没有普适排序。图生成里常被说更好的边缘匹配,在 Ensemble A 上可以比均匀差一个 √d。
IGC 密度会画出数据几何。噪声重复比特在 d=128、翻转率 η=0.01 时 q 有尖峰,η→1/2 峰消失,独立乘积时 q 恒为 0。Curie–Weiss 在临界 β=1 附近,q 从单峰变成双峰(β=1.20)再回到近单峰(β=1.60),对应「选磁化相」和「相内涨落」两套尺度。层次原型混合在 Hamming 距离差几个数量级时出现对应层数的峰,L=2 时 d=32776 两个峰,L=3 时 d=33288 三个峰。
后验若是学出来的,KL 上界再加一项逐坐标去噪器惩罚 Eden(a,b),与离散化误差分开记账。
对做离散扩散的人,这篇把噪声类型和时间表从经验旋钮收成可计算的几何量。等距 log-SR-odds 不需要干净样本,也能吃到 TC/DTC 适应;有干净样本就可以估 IGC、在 q 高的区间加密步长,理论上从 CIGC 降到 PIGC。
它回答的是 Dmitriev 等人留下的问题:非掩码离散扩散不是注定随维度变差。至少在 oracle 后验的 PRD 这一类里,适应低维结构做得到。
这仍是离散化理论,不是在语言或分子图上刷 NFE 的新采样器。IGC 要进训练环,还得过「用有限干净样本估 q、再换成学到的去噪器」这一关。
Theorem 1 的主界用精确单点后验。学到的后验只被写成加性惩罚,没有实验表明在真实网络近似误差下,按 IGC 排的时间表还稳不稳。
参考分布的 √d / log d 结论来自特定成对二元构造,图上画到 d 约 10^8。Austin、DiGress 那些经验差异,这篇只提供解释框架,没有在语言模型或图生成上复现「换参考省多少函数评估」。
min{TC, DTC} 上界可以很松。论文沿用 Dmitriev 的独立块论证,指出聚合 IGC 与 min{TC, DTC} 之间可以有 Ω(d) 缺口。等距调度的可证明上界因此可能远大于真实难度。
与 2026 年 8 月 24 日挂出的 Dmitriev、Huang、Wei 同期 CTMC 工作,作者写明计划在修订里对齐,当前版本没有正式对比。
自适应多块调度需要目标分布的干净样本。生成模型训练通常没有「从 PZ 直接抽样」这回事,估计器怎么接到训练环路上,论文没做。
二元核才是精确 KL 的真源,实践里大量保证仍走一元密度 q。q 很尖且步长不细时对角近似会松多少,除了指数三明治,没有更紧的定量。