SWE-CoWork:101 个真实任务测编码 Agent,完整交付率不足 8%

Tokenwave-AI · hf · 2026-11-17

SWE-CoWork 把编码 Agent 当作「组织中的数字员工」来评测:101 个真实仓库的开发任务、11 种编程语言、12 个应用领域,每个任务在模拟的 26 人工程组织中展开,Agent 需从简短的交接描述出发,从不同同事和职场记录中恢复需求、调和矛盾信息,并用私有可执行测试验收。

评测 11 个模型发现「部分实现」与「完整交付」差距巨大:两个领先模型能满足约 63% 的 fail-to-pass 测试,但完整完成任务不足 8%。预先给出完整需求可为 Seed Evolving 和 GPT-6 Astra 提升 F2P 约 16 个百分点,却不改变完整成功率。需求级轨迹分析显示交付全流程处处失分:例如 Claude-Opus-5.5 平均 93% 的提问能指向正确的负责人,却只拿到 64% 的同事持有需求;被推迟的提问无人跟进,导致实现始终不完整。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →