AgentSWE 基准：让编码 agent 按需求造 agent，50 次平均仅 11.2 分

_akhaliq · x · 2026-10-13

AgentSWE 是一个新基准，测试编码 agent 能否按自然语言需求构建、编辑和优化用户想要的 agent，覆盖 Creation/Editing/Optimization 三类共 25 个任务，填补了现有基准只测 patch 正确性或任务结果、不测所建 agent 是否忠实满足需求的空白。

结果相当惨淡：50 次 Creation 运行平均仅 11.2/100 分，其中 20 次得 0 分。图中各模型分数：DS-V4-Pro Creation 19.1、Editing 31.6，DS-V4-Flash 15.1/14.0，GPT-5.6 Sol 13.7/23.9（Optimization 为 -4.0），GPT-5.5 与 Qwen3.6-35B-A3B Creation 得分仅 1.2 和 0.2。基准还考察需求忠实度、泛化能力与失败分析。