整数乘法仓库变身 Agent 基准:协作反而不如各干各的
iskander · x · 2026-10-14
RohanArun 等人意外发现,此前的整数乘法优化仓库可以改造成评测 agent harness 的新基准:回退到较早的简单分支,让不同 harness/提示词同场竞技,比较谁能最快或最大幅度推进前沿;若强制要求真正新颖且可行的解法,该基准就无法被「背答案」刷分。
最反直觉的结果:共享上下文、互相协作是负收益——图中 1 vs 2 vs 3 vs 4 agents 矩阵显示,单 agent 5 分 16 秒提交且零 handoff,多 agent 方案普遍更慢更耗 token(2 agent 一次甚至撞上 60 分钟上限),并行独立工作的模型组反而效率更高。这或许能解释 Navier–Stokes 求解为何采用 swarm 架构。
作者同时提醒防污染细节:检查 trace 确认 agent 没有联网搜到已有解、关闭 web search、确保模型 checkpoint 不含已发表方案。实验仍在扩大规模验证中。该社区 10/11 以来自动研究进展 +28.9%,过去 4 小时新增约 85 位首次提交 PR 的贡献者。
「编程与Agent」频道最新
- Clayzo 发布:为编码 Agent 打造的轻量 WebGL 动画引擎 — CurieuxExplorer · 2026-10-14
- 老玩家总结 50 条 AI 使用心得:喂好上下文、语音交互、接管全部工具链 — koltregaskes · 2026-10-14
- Agor 开放测试:把各家 Agent 放上同一块空间看板协作 — rohanpaul_ai · 2026-10-14
- 无需 CS 学位:12 个月 AI 工程师自学路线图走红 — mdancho84 · 2026-10-14
- TV Time 关停丢 15 年记录,他把 1 万部影视游戏搬进 Obsidian 自建系统 — dSebastien · 2026-10-14
- 前量化交易员:AI 落地缺的不是模型,是像实验室那样的反馈闭环 — paulabartabajo_ · 2026-10-14