Sakana 用多扩散模型协作提升编程和数学表现
SakanaAILabs · x · 2026-07-21
多个扩散语言模型协作，Sakana 提出新型推理时扩展方法
Sakana AI 在其 ICML 2026 论文 UnMaskFork 中研究：test-time scaling 能否用于 masked diffusion language models（MDLMs）。
- 论文认为，单纯把温度调高来制造随机性，对 MDLMs 效果并不好。
- 新方法改用模型切换来制造多样性：多个 MDLM 共同为同一个答案“补全”文本。
- 系统使用 Monte Carlo Tree Search 搜索更有希望的生成路径，让不同模型在自己最有把握的阶段接力完成答案。
- 该方法不需要重新训练，也不需要改模型结构，只是在推理阶段组合预训练模型。
- 作者称它在编程基准上持续优于现有 test-time scaling 方法，在数学任务上也能稳定扩展。
Sakana 将这项工作视为其“AI collective intelligence”研究线的一部分，和 AB-MCTS、Sakana Fugu 属于同一方向。
所属事件:Sakana AI 提出多扩散模型协作提升推理能力(2 条相关)→
「模型」频道最新
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- DeepSeek 每 token KV 缓存两年降至 890 字节,开源闭源差距之辩 — teortaxesTex · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 爆料推测:fable 5.5 或达 4-5 万亿参数,以规模压制 Opus — haider1 · 2026-10-27