AgentBug-Smith 论文:顶级编码智能体仅能修复 9% 的智能体框架 Bug
rohanpaul_ai · x · 2026-10-03
一篇来自芝加哥大学、复旦、清华、UIUC 等机构的研究介绍 AgentBug-Smith:一套自动从开源智能体系统中发现并复现真实 harness bug 的方法,可把这些 bug 转成可运行测试,并构建了持续增长的 Live-Harness-Bench(目前含 200 个可复现 bug)。
关键发现:
- AgentBug-Smith 复现 harness bug 的成功率比面向通用软件的现有技术高 10.67%–27.56%。
- 智能体自身代码(工具调用、记忆、prompt)的 bug 依赖真实的模型调用,难以复现与测试。
- 在该基准上,三个编码智能体中最好的也只修复了 9% 的 bug,而它们在普通软件 bug 上约有 40% 的修复率。
- 用过往修复经验总结的简短指南,可把智能体在 79 个未见 bug 上的正确修复数从 1 提升到 6。
作者的实用建议:在把编码智能体托付给「智能体自己的代码」之前,先让它试试你已经修过的 bug。
所属事件:AgentBug-Smith 自动发现并复现智能体框架真实 Bug(2 条相关)→
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19