SWE-CoWork 基准:最强模型在 101 个真实仓库任务中仅完整通过 8 个
omarsar0 · x · 2026-11-18
TokenWave 团队发布 SWE-CoWork,一个把编码智能体当"数字员工"评测的基准:每个任务从一段简短的工作交接开始,智能体需在模拟工程组织里检索任务板与版本化文档、向模拟同事询问缺失细节,并在回复改变需求时修改代码,最终交付通过隐藏测试的补丁。
关键事实与结果:
- 覆盖 101 个真实开源仓库、11 种语言、12 个领域,每个任务配 26 名模拟同事
- 榜首 GPT-6 Astra 仅完整通过 8/101 任务(7.92%),Claude Opus 5.5 为 7/101;其余多数模型为 0-1 个
- 研究重点考察"交接"能力:开放问题与已确认需求都可能在交接过程中丢失,基准可沿对话、补丁、测试三方追溯
- 作者 omarsar0 特别指出:Claude Opus 5.5 超过一半的失败检查发生在智能体已获得需求之后
结论:当前编码智能体在接管他人进行中工作、协调与需求恢复这类长程协作能力上仍非常薄弱。
所属事件:SWE-CoWork 基准出炉:最强编码 Agent 完整交付率不足 8%(2 条相关)→
「编程与Agent」频道最新
- LangChain 明日旧金山办 Managed Deep Agents 实战工作坊 — LangChain · 2026-11-18
- Vite+ 1.7.0 发布:用 Rust 版 TS 编译器 tsrs 做类型检查 — cnakazawa · 2026-11-18
- Higgsfield 拍 AI 电影:最难的是让它不像 AI 做的 — CurieuxExplorer · 2026-11-18
- 项目管理三角失效:AI agent时代核心变成定义「好」 — lak_luster · 2026-11-18
- 两度主导团队 AI 转型后总结:Agent 工程的下一级靠亲手交付找出 — rseroter · 2026-11-18
- GitHub Next 工程师分享思辨设计方法论:低成本快速做原型 — JayAlammar · 2026-11-18