Sakana 用多扩散模型协作提升编程和数学表现
SakanaAILabs · x · 2026-07-21
多个扩散语言模型协作，Sakana 提出新型推理时扩展方法
Sakana AI 在其 ICML 2026 论文 UnMaskFork 中研究：test-time scaling 能否用于 masked diffusion language models（MDLMs）。
- 论文认为，单纯把温度调高来制造随机性，对 MDLMs 效果并不好。
- 新方法改用模型切换来制造多样性：多个 MDLM 共同为同一个答案“补全”文本。
- 系统使用 Monte Carlo Tree Search 搜索更有希望的生成路径，让不同模型在自己最有把握的阶段接力完成答案。
- 该方法不需要重新训练，也不需要改模型结构，只是在推理阶段组合预训练模型。
- 作者称它在编程基准上持续优于现有 test-time scaling 方法，在数学任务上也能稳定扩展。
Sakana 将这项工作视为其“AI collective intelligence”研究线的一部分，和 AB-MCTS、Sakana Fugu 属于同一方向。
所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→
「模型」频道最新
- Repligate：Claude Opus 3 权重不变却像在持续演化 — repligate · 2026-07-27
- “Opus 5”配图在玩模型反复重跑基准的梗 — kalomaze · 2026-07-27
- 有人称顶级模型如今写作还不如一年前 — dbreunig · 2026-07-27
- MPT-30B 雷达图曾意外引发大规模争议 — code_star · 2026-07-27
- 本地 Gemma 4 31B 自发变得毒舌且难以复现 — n0head_r · 2026-07-27
- Gemini 3.6 Flash 被看作能以低成本打 Sonnet 质量 — haider1 · 2026-07-27