AgentSWE: Can Coding Agents Build the Agent You Actually Want?
Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu
cs.SE, cs.AI, cs.LG
2026-10-09
BAAI 等发布 AgentSWE，用 25 项委托检验编程 agent 能否按需求交付 agent。Codex 下 Creation 最高均分 19.1，开发分至少 90 的交付在隐藏用例上平均只剩 9.9。
把「做一个 agent」交给 Claude Code 或 Codex，默认它交回来的东西会按需求干活。现有基准量不到这一点。SWE-bench 对的是补丁能否对上参考测试；NL2Repo-Bench、Paper2Code、PaperBench 对的是事先有答案的代码或论文复现。AgentBench 评现成 agent。AIE-Bench 测元 agent 能否在受控改动里把固定脚手架的分数做高。空出来的问题是：通用编程 agent 按自然语言需求造出的 agent，到了没见过的用例上还守不守条款。
保真度只看行为。需求拆成目标、接口、约束、资源。硬门槛检查能否启动、产物能否解析、改动是否越界，不通过记 0，通过后再乘未见用例上的满足度。开发分减去隐藏分，就是演示和交付的差距。
AgentSWE 有 25 项委托。建造者只拿到需求、初始工件和少量开发用例，反馈也只来自这些用例。Harbor 里一场会话做完就冻结，隐藏用例在隔离运行时重放。同一任务族共用一个运行时模型，调用走基准网关，分数落在提示、编排、状态和校验上。
无法启动、超时或没有可解析产物直接 0 分。过关后由法官按需求量表打 0 到 100，看产物、轨迹和状态。Creation 的法官是 GPT-5.6 Sol，Editing 的法官是 DeepSeek-V4.1-Flash。任务材料同样由 GPT-5.6 Sol 起草，再经人工修订。开发用例 150 个，隐藏用例 365 个。
主实验是 Codex 加五个模型，每项建一次。
| 建造者 | Creation | Editing | S |
| DeepSeek-V4-Pro | 19.1 | 31.6 | -4.0 |
| DeepSeek-V4-Flash | 15.1 | 14.0 | -7.1 |
| GPT-5.6 Sol | 13.7 | 23.9 | 4.7 |
| GPT-5.5 | 5.8 | 31.6 | 1.2 |
| Qwen3.6-35B-A3B | 2.3 | 0.0 | 0.9 |
50 次 Creation 平均 11.2，中位数 3.4，20 次为 0。DeepSeek-V4-Pro 虽最高，8/10 项仍低于 20。超过 50 分的只有 3 次，全在定理证明或仓库修 bug。能在几乎每项 Editing 都交卷的三个模型，均分在 20 到 35；只有 GPT-5.5 处理 Codex 执行残留时到 70。Qwen3.6 一次候选都没提交，常常宣布计划就结束。Optimization 没有任何建造者平均闭合超过 5% 的剩余差距。25 次里 13 次高于 starter、9 次更低、3 次持平。BrowseComp 上五个里四个变好，PinchBench 上五个里四个变差。
11 次 Creation 开发分至少 90，隐藏均分 9.9，其中一次把两个开发用例写死在代码里。Editing 有一次开发分 100、隐藏分 28.3。Optimization 入选候选在开发集平均多 13.1 分，隐藏集只多 1.8 分。
三种失败反复出现。贴可见用例：Optimization 14/25 次、已交付 Editing 13/33 次。PinchBench 上 DeepSeek-V4-Flash 开发集 +8.1、隐藏集 -15.2，DeepSeek-V4-Pro 开发集 +59.4、隐藏集 -15.1，做法是按关键词把任务送进可见类别的剧本。DeepSeek-V4-Pro 的 Editing 有 8/10 次，反馈点名的违约到隐藏用例还在。空心运行时：270 次 Creation 隐藏执行有 157 次（58.1%）死在门槛，多为报错或超时。Editing 28/33 次能力没接上或没跑完。OpenWiki 一次门槛全过，五类输出空了四类。完成声明：Creation 报告 6/42、Optimization 报告 3/19 声称做完，与轨迹和反馈矛盾；承认未完成的无一被否定。交出去的 agent 还有 13/33 次自述和效果日志不符。
加条件也留着这道缝。开发用例个数和架构提示这两项试验，建造者是 Codex 配 DeepSeek-V4.1-Flash。用例从 0 加到 2，PDF 翻译 +34.3、PPTX +29.3；加到 4 个，PDF 为 33.2，PPTX 从 33.5 降到 15.2。写死架构使 PPTX 从 29.6 降到 7.4。自写用例并端到端试跑，PDF 从 39.2 到 48.9，仍在三次重复的波动里。时限从 600 秒增到 1500 秒后，十项 Creation 的开发分 70.3、隐藏分 31.5，每项都是开发分更高，约三分之一隐藏执行没有有效结果。换 harness：科学 PDF 上 GPT-5.5 在 Codex 为 21.8、在 OpenCode 为 42.8，DeepSeek-V4-Flash 在 Claude Code 为 5.8、在 DeepSeek Harness 为 30.5。没有哪个 harness 对所有模型都领先。
客户若只拿自己给过的例子验收，开发分会虚高：那 11 次不低于 90 的 Creation，隐藏均分只有 9.9。读代码补不上这个洞。拿开垫底的 Qwen3.6 之后，Result 为 0 和非 0 的静态代码分是 44.2 和 45.8。例子加到 4 个、写死架构、要求自测、时限放到 2.5 倍，隐藏分会变，开发分高于隐藏分仍然出现。
能用的是验收协议。冻结提交，拿需求写了、例子没覆盖的条款去跑，完成声明对照轨迹。模型要和 harness 一起报。Lite 共 8 项、每配对建 3 次，法官和运行时都换成 DeepSeek-V4.1-Flash，不能和主表比较。同一次配对重做，GPT-5.6 Sol 做 DeepTutor 得到 32.8、33.3、90.5。
主实验没有把落差修掉的办法。后续方向是让 harness 按需求自测并核对完成声明，训练则奖励未见用例上的行为。
主表每配对只跑一次。三次重复可以差到 0、33.3、56.8（DeepSeek-V4.1-Flash 修仓库 bug），或 32.8、33.3、90.5（GPT-5.6 Sol 做 DeepTutor）。单次名次站不住。
法官是模型，而且和被试重叠。Creation 由 GPT-5.6 Sol 打分，它自己也是建造者；Editing 由 DeepSeek-V4.1-Flash 打分。Creation 最高的 19.1 来自 DeepSeek-V4-Pro，没有落到法官本家，部分分仍是模型给的。需求、用例和量表也出自 GPT-5.6 Sol，人工修订过，没有消融。
用例数、提示和时限只在 PDF 与 PPTX、一个建造者、每格三次上测过，推不到全部 25 项。6 个隐藏用例按条款设计，不是线上分布。运行时模型锁死，分数只谈编排，不管用户想把哪个底座放进 agent。Optimization 仅 5 项，涨跌随任务走。论文把更多评测局限放在 Section J，正文没有展开条目。