整数乘法仓库变身 Agent 基准:协作反而不如各干各的

iskander · x · 2026-10-14

RohanArun 等人意外发现,此前的整数乘法优化仓库可以改造成评测 agent harness 的新基准:回退到较早的简单分支,让不同 harness/提示词同场竞技,比较谁能最快或最大幅度推进前沿;若强制要求真正新颖且可行的解法,该基准就无法被「背答案」刷分。

最反直觉的结果:共享上下文、互相协作是负收益——图中 1 vs 2 vs 3 vs 4 agents 矩阵显示,单 agent 5 分 16 秒提交且零 handoff,多 agent 方案普遍更慢更耗 token(2 agent 一次甚至撞上 60 分钟上限),并行独立工作的模型组反而效率更高。这或许能解释 Navier–Stokes 求解为何采用 swarm 架构。

作者同时提醒防污染细节:检查 trace 确认 agent 没有联网搜到已有解、关闭 web search、确保模型 checkpoint 不含已发表方案。实验仍在扩大规模验证中。该社区 10/11 以来自动研究进展 +28.9%,过去 4 小时新增约 85 位首次提交 PR 的贡献者。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →