Sakana 用多扩散模型协作提升编程和数学表现

SakanaAILabs · x · 2026-07-21

多个扩散语言模型协作，Sakana 提出新型推理时扩展方法

Sakana AI 在其 ICML 2026 论文 UnMaskFork 中研究：test-time scaling 能否用于 masked diffusion language models（MDLMs）。

• 论文认为，单纯把温度调高来制造随机性，对 MDLMs 效果并不好。
• 新方法改用模型切换来制造多样性：多个 MDLM 共同为同一个答案“补全”文本。
• 系统使用 Monte Carlo Tree Search 搜索更有希望的生成路径，让不同模型在自己最有把握的阶段接力完成答案。
• 该方法不需要重新训练，也不需要改模型结构，只是在推理阶段组合预训练模型。
• 作者称它在编程基准上持续优于现有 test-time scaling 方法，在数学任务上也能稳定扩展。

Sakana 将这项工作视为其“AI collective intelligence”研究线的一部分，和 AB-MCTS、Sakana Fugu 属于同一方向。

所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→

原文链接 →

「模型」频道最新

• 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
• Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
• Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
• Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
• 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
• 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26

更多「模型」频道 AI 资讯 →