Accelerate Bench:32 个 CPU 优化任务实测 16 个编码 Agent
geoffwolfe · x · 2026-11-20
arXiv 论文提出 Accelerate Bench,一个评测编码 Agent 做应用级程序优化能力的基准:
- 32 个 CPU 优化任务,改编自科学应用与超算竞赛;每个任务给定可运行程序,并规定负载、正确性要求、时间边界与允许的修改范围,由 Agent 自行决定如何优化;公开测试集支持迭代开发,独立 verifier 打分。
- 评测 16 个「模型+harness」组合,Score@1 在 25.5%–67.4% 之间。程序大多正确,拉开差距的是加速比:前两名在 32 个任务中至少 22 个达到 2x 以上加速,其余 14 个只做到 8–17 个。
- 关键发现是跨程序协调的重要性:相同源码仅因构建与运行时设置不同,性能可在 0.29x–2.12x 之间波动;某处代码改动价值 1.01x 还是 6.4x 取决于另一处改动。说明让应用更快需要的修改往往在代码之外。
「编程与Agent」频道最新
- Stripe 开源编码 Agent 评测:14 个 Agent 平均仅 29% 任务全达标 — emilygsands · 2026-11-20
- 用 DrawingML 让 Agent 画出 PowerPoint 里可直接编辑的图表 — kristoph · 2026-11-20
- 让 Claude 自建节点选择器,字体设计师精准微调 138 个轮廓点 — evilrabbit_ · 2026-11-20
- SOTA BOTS demo night 冒雨举行,主打「个人智能体」新范式 — braelyn_ai · 2026-11-20
- Vercel UI SDK 用行为组合生成自定义 UI 组件,开发者看好其爆发潜力 — shadcn · 2026-11-20
- 拍张成绩单,AI Agent 生成 1912 个知识点学习地图 — msharmas · 2026-11-20