Sakana AI 用多模型协作提升推理时扩展与代码数学表现
tkasasagi · x · 2026-07-22
多个掩码扩散模型协作，推理时扩展更强了
Sakana AI 这篇被 ICML 2026 录用的论文 《UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching》，展示了让多个掩码扩散语言模型协作生成同一个答案，能提升代码和数学任务表现。
- 这项工作关注的是 推理时扩展：不额外训练模型，而是在推理阶段增加计算量来换性能。
- 与自回归 LLM 不同，掩码扩散语言模型是从全掩码状态逐步填词，具备并行生成和全局编辑的特性。
- 作者发现，常见的 提高温度来增加随机性 的办法，在 Dream-Coder 这类 MDLM 上效果并不好。
- 他们提出的 UnMaskFork（UMF） 不是靠随机性，而是靠 模型切换 来制造多样性。
- 多个 MDLM 分工完成同一答案的不同解掩码阶段，再用 蒙特卡洛树搜索 去找更优的分工顺序。
- 论文称，这种协作方式在保持生成质量的同时，能探索更多候选解，并且在代码基准上稳定超过现有推理时扩展方法，在数学任务上也随计算量增加而稳步提升。
所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→
「模型」频道最新
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11