Diffusion as a Training Curriculum for Timestep-Free Iterative Reasoning
Mariia Drozdova, Aidan Sirbu, Pietro Miotti, Robert Obryk, Mayalen Etcheverry, Eyvind Niklasson, Blake Richards
cs.LG
2026-09-01
给扩散去噪器加持久隐状态并去掉时间步,训练用有序退火、推理可钉在最大噪声;Sudoku-Extreme 一万步精确解率 99.90%,Maze-Unique 一百步 98.93%。
扩散模型和递归推理器都在逐步迭代,信息走的通道却不一样。扩散把计算塞进正在被噪声改写的采样状态里,每一步都在改同一个 x;HRM、Tiny Recursive Model、looped Transformer 这类递归推理器另开一条隐状态,让中间计算在里面累积。
Google Paradigms of Intelligence 和 McGill / Mila 问的是:给连续扩散去噪器也加一条不被噪声污染的隐状态,再拿掉时间步条件,它会不会自己变成一个可以随便跑深的求解器?
试验场是两道「输入唯一决定答案」的题。Sudoku-Extreme 测试集约 42.3 万张唯一解数独;Maze-Unique 是 30×30 迷宫,起点到终点只有一条路。
去噪器是共享权重的循环网络。数独用一层 Pre-LN Transformer,隐藏维 128,4 头,注意力只允许同一行、同一列、同一 3×3 宫互相看,内循环 J=8 次。迷宫换成 3×3 局部卷积,按神经细胞自动机的方式在格子间传消息,隐藏 96、记忆通道 64。
每一步网络吐出一个潜变量 z,再开两条独立 LayerNorm:一条变成下一拍的隐状态 h,一条投影回棋盘得到去噪预测。h 没有任何直接监督,只通过以后几步有没有帮上忙来学。网络既看不到扩散时间步,也看不到迭代编号。
训练时每条轨迹的去噪步数从 20 到 160 均匀抽,走方差保持的正弦/余弦噪声日程,只污染非线索格。线索用 Pin 钉死,给定数字既不加噪也不更新。优化用截断 BPTT,窗口 L=4:每步从干净盘重新加噪,只有 h 干净地传下去。损失是非线索格上的均方误差。
推理时 h 从 0 起,未知格从高斯噪声起。可以按日程退火,也可以把噪声水平钉死。钉在最大噪声时,每一步都把未知格换成全新的高斯噪声,答案却还能从隐状态里长出来。停机靠「解码结果连续若干步不变」。
训练最长只看到 160 步、梯度只回传 4 步,推理拉到 10000 步,Sudoku-Extreme 精确解率还在涨。时间步条件加不加,对这条曲线几乎没影响;没有隐状态的对照收敛更慢、天花板更低。
| 设置 | 指标 | 结果 |
| 恒定最大噪声, K=10000 | Sudoku-Extreme 精确解率 | 99.90% |
| 退火日程推理 | 同上 | 99.56% |
| 步间不注噪声 (t=1) | 同上 | 49.39% |
| Maze-Unique, K=100, 退火 | 精确解率 | 98.93% |
| Maze-Hard, K=100 | 精确匹配 / 最短路 | 77.87% / 86.43% |
训练课程是硬门槛。同样 K=10000、退火推理:有序退火加教师强制 99.54±0.02;全程固定最大噪声训练 82.73±6.60;每步独立乱抽噪声水平 20.59±3.40;完全不加噪 0.00。推理可以不退火,训练不行。
隐状态干预更直接。K=400 的中途把可见状态重置成纯噪声,退火设置下解率从 82.50% 升到 88.09%;把记忆清零掉到 58.03%;打乱格子位置掉到 29.38%;打乱全部记忆值只剩 0.27%。记忆宽度从 64 加到 128,K=400 解率从 86.39% 升到 96.29%,再加到 256 只到 96.48%,边际已经平了。
解唯一的盘在持续噪声下 99.24% 会稳住不再漂。训练时故意挖掉部分线索、让盘有多解,再拿去测唯一盘,88.94% 会先稳住再漂走。
这篇把扩散的贡献从推理采样程序,改写成训练时的去噪课程。推理端甚至不需要逐步降噪:最大噪声下单条轨迹就能探索并落定,不必像 PTRM、GRAM 那样并行多条轨迹再加选择头。噪声打在可见通道 x 上,记忆 h 保持干净,探索和提交发生在同一条 rollout 里。
对做递归推理的人,可搬的工程点很具体。短窗口 BPTT 加有序退火就够训,测试时把循环次数当算力轴拉长。约束满足的网格题上,这个配方已经能跑到接近满分。它还没有证据能搬到语言推理。
任务面窄,都是输入唯一决定目标的网格题。Maze-Hard 允许多条合法路径时,精确匹配 77.87%,低于 TRM 报告的 85.3%,只在最短路口径上打平(86.43%)。
内循环 J 和 BPTT 窗口 L 都是中间最好、两头变差:L=1 跨步传不了信息,L=16 开始梯度消失;J=8 最好,再多再少都掉点。超参并不宽。
论文没给 Sudoku-Extreme 上与 HRM / TRM 的直接对照数字,99.90% 只能说明自己这条曲线的天花板。推理 10000 步即便单层网络也不便宜。隐状态不可读,多解盘会漂,都还没解决。