Sakana 用多扩散模型协作提升编程和数学表现
SakanaAILabs · x · 2026-07-21
多个扩散语言模型协作，Sakana 提出新型推理时扩展方法
Sakana AI 在其 ICML 2026 论文 UnMaskFork 中研究：test-time scaling 能否用于 masked diffusion language models（MDLMs）。
- 论文认为，单纯把温度调高来制造随机性，对 MDLMs 效果并不好。
- 新方法改用模型切换来制造多样性：多个 MDLM 共同为同一个答案“补全”文本。
- 系统使用 Monte Carlo Tree Search 搜索更有希望的生成路径，让不同模型在自己最有把握的阶段接力完成答案。
- 该方法不需要重新训练，也不需要改模型结构，只是在推理阶段组合预训练模型。
- 作者称它在编程基准上持续优于现有 test-time scaling 方法，在数学任务上也能稳定扩展。
Sakana 将这项工作视为其“AI collective intelligence”研究线的一部分，和 AB-MCTS、Sakana Fugu 属于同一方向。
「模型」频道最新
- Moonshot 的 Kimi K3 以 156 分刷新开权重 ECI 纪录 — scaling01 · 2026-07-22
- 有人称已有 6 家公司模型超越 Google 最强 LLM — soham_btw · 2026-07-22
- Gemini 3.5 Flash Lite 实测：非前沿最优，但推理速度达 350 tok/s — brandon_galang · 2026-07-22
- 基准表对比 GPT-5.6 Sol、Claude Fable 5 和 Gemini 3.6 Flash — iruletheworldmo · 2026-07-22
- Google 称 Gemini 3.5 Pro 正在伙伴测试，准备好就全面开放 — inductionheads · 2026-07-22
- ChatGPT 合并 Codex，并推出 GPT-5.6 分层工作流 — jxnlco · 2026-07-22