腾讯混元发布 Accelerate Bench:32 项任务评测 Agent 程序优化能力
_akhaliq · x · 2026-11-18
腾讯混元团队发布 Accelerate Bench(arXiv,Bowen Liu 等),评测编码 Agent 在应用级程序优化上的能力。
- 基准包含 32 个 CPU 优化任务,改编自科学应用与超算竞赛;每个任务提供可运行程序,并规定负载、正确性要求、计时边界与允许的修改范围,由 Agent 自行决定在何处、如何优化。
- 基准 1.1 版测试了 16 个编码 Agent(模型 + harness 组合):Score@1 范围 25.5%–67.4%,多数程序可获得加速;速度上限是主要区分因素,前两名 Agent 在 ≥22 个任务上至少 2 倍加速,其余 14 个仅在 8–17 个任务达 2 倍。
- 控制变量重放显示跨应用协调的重要性:同一份源代码仅因构建与运行时设置不同就跑出 0.29x–2.12x;同一处代码改动依上下文价值在 1.01x–6.4x 之间。
- 基准将可执行负载与 Agent 的程序及轨迹配对,同时评估加速收益与优化过程。
所属事件:腾讯混元发布 Accelerate Bench:32 项任务评测 Agent 程序优化能力(2 条相关)→
「编程与Agent」频道最新
- Copilot Fusion 登顶 Terminal Bench:超 Claude 5 分且成本减半 — marlene_zw · 2026-11-18
- 微软发布 MAI Code 2,还将推 Code 2 Flash 与 Cyber 2 Flash — testingcatalog · 2026-11-18
- 微软发布 MAI Code 2:主打企业级编码性价比 — testingcatalog · 2026-11-18
- Cognition 推出 Devin Bots,被评「主动式 agent 体验最顺滑」 — marvinvonhagen · 2026-11-18
- /prune-tests 技巧:让 Claude 清理无效测试而非狂加测试 — teropa · 2026-11-18
- SpaceXSI 用 5 个 Grok Bot 组建会计团队,Bot 进驻组织架构图 — elonmusk · 2026-11-18