Sakana AI 用多模型协作提升推理时扩展与代码数学表现

tkasasagi · x · 2026-07-22

多个掩码扩散模型协作，推理时扩展更强了

Sakana AI 这篇被 ICML 2026 录用的论文 《UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching》，展示了让多个掩码扩散语言模型协作生成同一个答案，能提升代码和数学任务表现。

• 这项工作关注的是 推理时扩展：不额外训练模型，而是在推理阶段增加计算量来换性能。
• 与自回归 LLM 不同，掩码扩散语言模型是从全掩码状态逐步填词，具备并行生成和全局编辑的特性。
• 作者发现，常见的 提高温度来增加随机性 的办法，在 Dream-Coder 这类 MDLM 上效果并不好。
• 他们提出的 UnMaskFork（UMF） 不是靠随机性，而是靠 模型切换 来制造多样性。
• 多个 MDLM 分工完成同一答案的不同解掩码阶段，再用 蒙特卡洛树搜索 去找更优的分工顺序。
• 论文称，这种协作方式在保持生成质量的同时，能探索更多候选解，并且在代码基准上稳定超过现有推理时扩展方法，在数学任务上也随计算量增加而稳步提升。

所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→

原文链接 →

「模型」频道最新

• Flash 3.6 在简单编程任务上快得离谱 — cgarciae88 · 2026-07-22
• Qwen3.8-Max-Preview 登顶 NVIDIA FlashInfer 推理榜 — Scobleizer · 2026-07-22
• 陶哲轩请 ChatGPT 解释一个“神奇”新定理 — Singularitarian · 2026-07-22
• 用户称 GPT-5.6 是自 GPT-4 以来首次明显跃迁 — koltregaskes · 2026-07-22
• CodePilot 接入 X OAuth 后可免费用 Grok 4.5 — op7418 · 2026-07-22
• GPT-5.5 被展示能解出部分纯泛函分析题 — International-War-73 · 2026-07-22

更多「模型」频道 AI 资讯 →