25 万参数小模型靠去噪课程拿下 Sudoku-Extreme 99.9% 准确率
tyrell_turing · x · 2026-09-04
Blake Richards 所在的 Paradigms of Intelligence 团队发布论文《Diffusion as a Training Curriculum for Timestep-Free Iterative Reasoning》:
- 方法:在扩散去噪模型上加入持久隐藏状态并移除时间步条件化,得到一个可运行任意深度的 anytime 迭代求解器,推理时准确率随深度持续提升,远超训练时的 rollout 长度和反向传播窗口
- 结果:不到 25 万参数即达到 Sudoku-Extreme 99.90% 精确求解率、Maze-Unique 98.93% 求解率
- 有趣发现:推理时无需渐进去噪——每步把非线索变量替换成新高斯噪声(保持最大腐蚀)仍能接近完美求解并收敛到正确答案,单条轨迹即可高效探索解空间,无需并行 rollout、候选筛选或外部验证器
- 结论:扩散的主要贡献不是推理时的采样过程,而是训练阶段的去噪课程(有序退火腐蚀在训练中依然关键)
「研究」频道最新
- 华盛顿大学教授免费 39 集控制论课程：机器人背后的真功夫 — lukas_m_ziegler · 2026-09-04
- 巴黎 UniReps 研讨会开放征稿,聚焦跨模型表示统一,截稿 10 月 4 日 — ClementineDomi6 · 2026-09-04
- Utopia 开源双时态知识图谱，让 RAG 记住知识的演变 — Shruti_0810 · 2026-09-04
- 情绪不是理性顾问,而是思维搜索的元控制平面 — mimi10v3 · 2026-09-04
- f-loss 平衡频谱学习，像素级 Flow Matching 收敛提速 — serrjoa · 2026-09-04
- 被烂 ML 论文逼到读科学哲学：研究者推荐三篇必读 — _lewtun · 2026-09-04