Real-SWE 基准用真实企业私有代码库实测编码 Agent,结果出人意料
daveholtz · x · 2026-09-11
janaksunil 团队发布 Real-SWE,一个基于私有公司代码库构建的编码基准:
- 评测对象是编码 Agent,任务取自真实工程师在私有、分布外代码库上完成过的软件工程工作;
- 任务来源包括真实公司:20 万+用户的应用、日均处理 10 万+银行对账单的金融科技平台、企业销售工具等;
- 作者称评测结果相当出人意料。
daveholtz 补充赞赏该基准的一大亮点:结果附带误差条(error bars),这在编码基准中少见。
「编程与Agent」频道最新
- HeyGen 联手 OpenAI 开源实时数字人交互框架 — aftahi_ai · 2026-09-11
- Terminal-Bench 团队将办 meetup，聚焦 RL 环境与 Agent 评测前沿 — simonguozirui · 2026-09-11
- Hermes:跨 Claude、Codex 等多平台编排 agent 的元框架 — intellectronica · 2026-09-11
- ClawBench 在 144 个真实网站测 Agent:最强模型成功率仅 33% — jiqizhixin · 2026-09-11
- UIUC 发布 SREGym：GPT-5.6 Sol 领跑，SRE Agent 端到端解决率仅 81% — tianyin_xu · 2026-09-11
- Credit Genie 用 OpenWiki 存代码库知识，编码 Agent 不再瞎猜 — LangChain · 2026-09-11