E2E-SWE 基准:186 个任务测 coding agent 从零构建可运行仓库,最好 pass@1 仅 67.7%
jyangballin · x · 2026-10-30
- Hantian Ding 等人发布 E2E-SWE,一个评测 coding agent 能否端到端从零构建完整软件仓库的 benchmark,共 186 个整仓库生成任务、覆盖 11 种编程语言。
- 设定:agent 只拿到自然语言规格说明和空工作区,离线工作,只有项目能安装并通过全部隐藏功能测试才算成功;每个任务由软件工程师与 LLM 协作开发,并用自主 agent 做迭代审计修复,保证规格与实现无关且可解。
- 结果:评测 13 个前沿模型,pass@1 从 11.7% 到 67.7%,差异显著,区分度强。
- John Yang 评论:与 ProgramBench(给可执行程序)、E2E-SWE(给规格说明)等不同的整仓库生成设定会导致 agent 迭代行为截然不同,是有趣的研究方向。
- 论文与代码均已公开。
「编程与Agent」频道最新
- 黑五购物 agent 点子：让 agent 自动找折扣并在最优时机下单 — jeff_weinstein · 2026-10-30
- Sentry 创始人长文：如何让 Agent 拥有「一点点确定性」 — zeeg · 2026-10-30
- Opus 自主把宜家商品图变成可漫游 3D 房间，$3,473 家具 7/7 建模成功 — victormustar · 2026-10-30
- Claude Obsidian 走红：16k star,把资料自动变成互链知识库 — JeremyCMorgan · 2026-10-30
- 开源 openrock:一个聊天应用统一使用所有 AWS Bedrock 模型 — maelswarm · 2026-10-30
- 70MB 流式语音模型 Arc:边听边链名单,一步替代 ASR+NER+LLM — Working_Hat5120 · 2026-10-30