Sakana AI 用多模型协作提升推理时扩展与代码数学表现
tkasasagi · x · 2026-07-22
多个掩码扩散模型协作，推理时扩展更强了
Sakana AI 这篇被 ICML 2026 录用的论文 《UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching》，展示了让多个掩码扩散语言模型协作生成同一个答案，能提升代码和数学任务表现。
- 这项工作关注的是 推理时扩展：不额外训练模型，而是在推理阶段增加计算量来换性能。
- 与自回归 LLM 不同，掩码扩散语言模型是从全掩码状态逐步填词，具备并行生成和全局编辑的特性。
- 作者发现，常见的 提高温度来增加随机性 的办法，在 Dream-Coder 这类 MDLM 上效果并不好。
- 他们提出的 UnMaskFork（UMF） 不是靠随机性，而是靠 模型切换 来制造多样性。
- 多个 MDLM 分工完成同一答案的不同解掩码阶段，再用 蒙特卡洛树搜索 去找更优的分工顺序。
- 论文称，这种协作方式在保持生成质量的同时，能探索更多候选解，并且在代码基准上稳定超过现有推理时扩展方法，在数学任务上也随计算量增加而稳步提升。
所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→
「模型」频道最新
- 「Fable 5.5 本周发布」传闻满天飞,daniel_eck 刷梗万圣节 Costume — daniel_mac8 · 2026-10-27
- 仅 125 条投毒样本即可给 Qwen2.5-7B 埋后门,引发下载安全争议 — lxrjl · 2026-10-27
- 「未来模型」排行榜惊现 Gemini 4 Argon 与 GPT-6.1 Sol,作者直呼可疑 — teortaxesTex · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27