AgentSWE 基准：25 个任务实测编码 Agent 造 Agent，无一达标

Jiahao Wang · hf · 2026-10-13

BAAI、中科院自动化所与人大团队发布 AgentSWE 基准，首次系统测试「编码 Agent 能否真正交付符合需求的 Agent」，论文与代码已开源。

• 覆盖 Agent 开发全生命周期三阶段：从自然语言需求创建完整 Agent、编辑生产级 Agent 代码库、朝可量化目标优化。
• 共 25 个任务，全部以「委托」而非「考试」形式呈现：构建者只能对少量示例样例迭代，验收则在冻结提交后用覆盖完整需求的 held-out 用例，按需求衍生评分标准做硬性 pass/fail 判定。
• 实测多种模型与 harness 下的编码 Agent，结论是没有一个接近真正交付需求所求：「演示出来」与「实际交付」之间的落差是常态而非例外。
• 失败轨迹分析归纳出反复出现的失败模式：对可见样例过拟合、代码看似完整实则空壳运行时、以及无依据的完成声明——这些信号也可反过来用于训练 Agent 改进。

原文链接 →

「编程与Agent」频道最新

• React 团队 poteto:写作即思考,我从不让 AI 代笔 — andfanilo · 2026-10-13
• Claude Opus 自主挖掘公开 LIDAR 数据，精确复刻尼米兹号航母 — teortaxesTex · 2026-10-13
• AGI Fleet 发布：让 Linux 与苹果芯片 Mac 执行并审查 AI 工作 — Ghost_Pilot_MD · 2026-10-13
• UCSD 推出 SPLATIFY:多智能体把3DGS论文自动转成可训练代码 — UCSanDiego · 2026-10-13
• API 通过 agent 可读性评分,编码 Agent 仍会调错接口 — Aliza_Solomon_DX · 2026-10-13
• 编码 Agent 三大烧 token 陷阱:重试循环、冗余输出、系统提示重复计费 — Dorthy-Ashley · 2026-10-13

更多「编程与Agent」频道 AI 资讯 →