专题 · FULL STORY

测试时通信论文：5 个协作智能体匹敌 33 个

UC Berkeley 与微软研究院合作发布「测试时通信」新论文，称 5 个协作智能体可匹敌 33 个独立智能体。随后作者分享补充实验观察，承认团队方案相对串行基线需 10-100 倍算力，引发多智能体与串行方法优劣之争。

2026-09-21 ~ 2026-09-23 · 2 集 · 33 条

第 1 集 · 测试时通信：5 个协作智能体匹敌 33 个独立智能体(2026-09-21,25 条)

9 月 21 日起，Dimitris Papailiopoulos 等人（UC Berkeley 与 Microsoft Research 合作，论文作者还包括一作 Jongho Park、Akshay Krishnamurthy 等）发布新论文《Scaling Discovery through Test-Time Communication》，提出「测试时通信」（test-time communication）可能是继推理扩展之后模型能力扩展的下一个轴心。核心问题是：何时 Team-of-N 强于 Best-of-N？答案是：只要智能体能彼此通信，团队就远胜各自为战。该研究早于近期 Hugging Face 相关事件数月启动，HF 事件中「agent 一旦找到通信渠道就会充分利用」的现象既是灵感来源之一，也是协作带来戏剧性结果的极端例证。

已确认

  • 实验设计：N 个完全相同的智能体处理同一任务，不分配预设角色，仅靠共享日志（纯文本文件）协作，且只被告知要「协作」。
  • 关键数据（由 ARC Prize 的 Greg Kamradt 转述）：在 ARC-AGI-3 上，5 个 Claude（sonnet-4.6）智能体组队协作即可匹敌 33 个独立智能体取最优（Best-of-33），解题率达 65%；另有转述称协作团队效果抵得上约 4 倍数量的独立智能体。
  • 在三类研究型任务上，会通信的团队大幅跑赢各自独立工作的智能体；作者解读称，通信让智能体从并行搜索转变为累积式发现，团队能解出单个智能体无法解决的难题。
  • 一作 Jongho 发布研究线程，探讨智能体间能否有效协作、更多 agent 是否真有帮助；背景提到 OpenAI 曾用 1 万个协作 agent 群体的相关工作。Jon Ghoh 与 Dimitris Papail 表示，多智能体通信能带来收益已有多方迹象，但缺乏系统性量化分析，本论文旨在补足这一点。

各方反应

  • Sarah Hooker 转发评论称，算力正从预训练（FLOPs 回报递减）转向 test-time compute，这将需要截然不同的基础设施，第一波为智能体设计的 infra 已开始落地。
  • mariofilhoml 转发称该工作非常酷，并联想到标题为「A PROOF OF THE CYCLE DOUBLE COVER CONJECTURE」的论文式多智能体协作模式。
  • gleech 评论称，AI 进展可能比人们预期的更快，因为不少突破性想法看起来「有点蠢」，而让智能体彼此通信优于挑选独立最优正是一个反直觉但简单的发现。

为什么重要

  • 若测试时通信确实成为新的 scaling 轴，意味着提升能力的路径从「堆预训练算力」转向「多智能体协作架构」，并催生面向智能体的新一代基础设施。

还有 5 条相关讨论 →

第 2 集 · 多智能体团队对单智能体需 10-100 倍算力，基线之争引热议(2026-09-22,8 条)

9 月 22 日，围绕多智能体团队与单智能体的效率对比，一场由 Dimitris Papailiopoulos（多智能体协同论文作者）发起的讨论成为当日 AI 社区焦点：他在 MNIST 任务上展示 team-of-N 与单智能体的对比曲线，推断单个最优 agent 需要 10-100 倍 token 预算才能达到团队性能；消融数据进一步显示，某些问题上 N 个 agent 并行跑 1 倍时长效果优于单个 agent 跑 N 倍时长——多智能体不只是更快，而是计算最优。这一结论随即引来 generatormanai 的方法学质疑，多位研究者补充实验与解释。

已确认

  • DimitrisPapail 展示 MNIST 上 team-of-N 与单智能体 best-of-N 对比曲线，推断单智能体需 10-100 倍 token 才能追平团队性能。
  • 他转发的消融数据显示：某些问题上 N 个 agent 并行运行 1 倍时长优于单个 agent 运行 N 倍时长，即多智能体对部分问题是计算最优而非仅更快。
  • 他补充另一项目发现：让 agent 定期清空上下文、只保留一份「到目前为止发生了什么」的摘要文档，对比最佳单 agent 也有明显提升。
  • jonghoh 回应称 ARC-AGI-3 消融显示：算力充足时单智能体加大 token 预算比同预算 best-of-N 更快进入平台期，即同等总算力下团队式多智能体扩展性更好。
  • ShangyinT 汇总多方经验：同等算力下 best-of-N@T 远胜串行 best-of-1，多位研究者的观察一致。
  • DimitrisPapail 对团队胜出机制给出保守解释：模型在单个超长上下文（NT）下容易「视野狭窄」，跨多个 API 调用注入熵可能有明显收益；他强调这只是非科学性直觉猜测。

尚未确认

  • generatormanai 的方法学质疑尚无定论：team-of-N 在 token 预算 T 下的正确串行基线应是预算 NT 的单智能体（best-of-1@NT），而非 best-of-N。相关方未在材料中回应或修正实验。
  • MNIST 上的结论能否推广到更复杂真实任务，材料中无相关证据。

为什么重要

  • 若「10-100 倍效率优势」与「并行计算最优」在更广泛任务上成立，将直接影响 agent 系统架构选择：同等算力下优先采用多智能体团队而非堆大单次上下文。
  • 「定期清空上下文+摘要文档」是低成本、可立即落地的工程技巧，与长上下文注意力退化问题相呼应。
  • 基线之争提醒社区：多智能体论文的对比基线若不含 best-of-1@NT，其效率结论可能被高估。