SWE-CoWork 实测:顶尖 coding agent 通过 63% 测试,整单完成率不到 8%

SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations

Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan

cs.SE, cs.AI

2026-11-16

SWE-CoWork 让 coding agent 在 26 人虚拟组织里接活:最强模型通过约 63% 测试,整单完成率不到 8%。

这篇在解决什么

SWE-bench 一类 benchmark 把任务写成一条自包含的 issue,需求、约束、验收标准全在正文里,agent 照着做就行。真实公司不是这样:需求散落在看板、版本化文档、聊天记录和不同同事的脑子里,还经常互相矛盾,文档里写的可能是被否掉的旧方案,绿灯 CI 对应的可能是过期 revision。论文引了一组背景数字:Anthropic 披露 2026 年 5 月其内部超过 80% 的合并代码由 Claude 写,工程师日均合并代码量是 2024 年的 8 倍。代码生成能力上去了,「搞清楚该做什么、做到哪了」仍然压在人身上。现有 benchmark 测的是 spec 执行,不是组织协作。

SWE-CoWork 补的就是这块:让 agent 以数字员工身份加入一个进行中的项目,从一段简短交接开始,自己找齐需求、实现、验证、交差。

方法

任务层:101 个任务取自 101 个真实开源仓库,覆盖 11 种语言、12 个领域。中位任务加 2,955 行生产代码、动 60 个文件,由私有可执行测试打分,全库合计 2,699 个 F2P 节点加 562 个 P2P 节点。

组织层:每个任务配一个 26 人工程组织,全库 2,626 份员工档案,中位 6 人握着决定得分的需求。每个虚拟同事有职责、本地知识和固定协作规则:可能要你先给复现步骤,可能一次只谈一个话题,可能把问题挂起等你追问,也可能转给真正的 owner。环境控制信息何时可披露,LLM 只负责生成回复;所有受测 agent 面对同一批由 GPT-5.6 Terra 扮演的同事。

记录层:开局只有中位 206 词的交接说明,需求藏在 10,329 张看板卡、5,097 份版本化文档、40,836 条聊天、1,194 个 MR 里,埋着过期草稿、贴错 run 的日志、已取消的卡、只知相邻边界却没有拍板权的同事这类陷阱,每条误导记录都留了纠正路径或可问的 owner。

关键设计是把每条需求绑定到持有人、发现路径和具体测试节点,能从第一次提问一路追到最终交付。另设 Oracle-Spec 对照组:同仓库、同测试、同 8 小时预算,开局直接给全量需求文档、无同事可问,用来拆「拿需求」和「做实现」各掉多少分。

结果

模型F2PP2P整单完成率
Claude-Opus-5.563.84%93.24%6.93%
GPT-6 Astra62.91%89.15%7.92%
Seed Evolving39.09%94.48%0.99%
Qwen3.8-Max35.70%91.80%0.00%
DeepSeek V4 Pro13.04%90.21%0.00%

表列头尾五个,其余六个模型 F2P 在 21% 到 31% 之间,整单完成率最高 0.99%。

三组数字撑起全文。需求获取率与 F2P 的 Spearman 相关 0.94,工具调用次数只有 0.08:GPT-6 Astra 拿到 67.8% 的同事持有需求,DeepSeek V4 Pro 中位每轮发 0 条消息、只拿到 1.8%。Oracle-Spec 把 Seed Evolving 的 F2P 从 39.09 拉到 55.76、GPT-6 Astra 从 62.91 拉到 78.84,都是约 16 个百分点,整单完成率却纹丝不动。Claude-Opus-5.5 的轨迹更具体:93% 的首个问题问对了 owner,仍只拿到 64% 的同事需求;450 个被同事挂起的提问里 153 个再没跟进,弃掉时中位还剩 7.1 小时预算;826 条在交付报告里写「完成」的需求,255 条(31%)测试不过;另有 49 次过早收工,中位剩 2.8 小时。carapace-bin 一题拿齐全部 25 条同事需求,35 个 F2P 节点仍挂了 22 个。

问对人不是问题,跟踪到交付才是。

为什么重要

这是第一个把组织级软件工程做成可执行打分的 benchmark,诊断粒度细到单条需求:问到没、做对没、报准没,分开计量。这些指标可以直接当 agent 设计的 checklist,比如维护一张需求状态表,记持有人、未决问题、验证证据。

对选型的含义很直接。有人盯着的单点编码,头部模型已经够用,P2P 普遍在 90% 上下,不太会改坏老功能;让 agent 独立接一整摊活,最强的也十个任务交不了一个。和 Anthropic 的 80% 放在一起看:代码量已经很便宜,交付管理还很贵。

这是一篇测量工作,不提出新方法,价值在把失败拆开给人看。

局限与存疑

论文自认的:跨模型相关性(更早动手写码、多发消息与 F2P 正相关)不构成因果;行为画像用 rubric 加 LLM reviewer 打分,属探索性分析;文中也引了 simulated user 与真人交互有系统差异的已有研究。

读下来还有几点。同事是 GPT-5.6 Terra 按固定规则演的,不会主动找你补信息,真人组织的动态复杂得多。Oracle-Spec 只跑了两个模型,偏偏没有最强的 Claude-Opus-5.5,「给全量需求也做不完」在头部模型上只验证了 GPT-6 Astra 一个。整单完成率口径极严,中位 32 个测试节点须同轮全过,低完成率有任务粒度的因素;101 个任务下 0.99% 就是 1 个任务。8 小时预算和 Claude Code、Codex 两套 scaffold 的影响也没有消融。

术语

原文与代码

相关论文

全部论文解读