SWE-CoWork:101 个真实任务测编码 Agent,完整交付率不足 8%
Tokenwave-AI · hf · 2026-11-17
SWE-CoWork 把编码 Agent 当作「组织中的数字员工」来评测:101 个真实仓库的开发任务、11 种编程语言、12 个应用领域,每个任务在模拟的 26 人工程组织中展开,Agent 需从简短的交接描述出发,从不同同事和职场记录中恢复需求、调和矛盾信息,并用私有可执行测试验收。
评测 11 个模型发现「部分实现」与「完整交付」差距巨大:两个领先模型能满足约 63% 的 fail-to-pass 测试,但完整完成任务不足 8%。预先给出完整需求可为 Seed Evolving 和 GPT-6 Astra 提升 F2P 约 16 个百分点,却不改变完整成功率。需求级轨迹分析显示交付全流程处处失分:例如 Claude-Opus-5.5 平均 93% 的提问能指向正确的负责人,却只拿到 64% 的同事持有需求;被推迟的提问无人跟进,导致实现始终不完整。
「编程与Agent」频道最新
- poteto 谈 Agent 自主开发:6 个月基建后睡觉也能发数千 PR — 4310sy · 2026-11-17
- 腾讯混元发布 Accelerate Bench:16 个编码 Agent 优化 CPU 程序实测 — Tencent-Hunyuan · 2026-11-17
- 开发者给记账应用接入 MCP,一句话即可记账并自动拆分 — Cultural-Effective62 · 2026-11-17
- 爬取真实 JD 定位简历:AI 工程求职工作坊出完整教程 — Al_Grigor · 2026-11-17
- Rust MCP 代码搜索服务器实测:Grafana 24k 文件基准对比 — Designer-Seaweed4661 · 2026-11-17
- 首个 Verus 形式验证基准发布,GPT-6 Astra 以 59.1 分居首 — fhuszar · 2026-11-17