AgentBug-Smith 论文:顶级编码智能体仅能修复 9% 的智能体框架 Bug
rohanpaul_ai · x · 2026-10-03
作者补充了论文链接:arXiv 论文《AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems》,作者来自芝加哥大学、复旦大学、TensorBlock、清华大学与伊利诺伊大学香槟分校。
该工作提出自动复现智能体框架(harness)真实 bug 的方法:相比现有面向通用软件的 bug 复现技术,在不同骨干 LLM 上成功率高出 10.67%–27.56%。由此构建的 Live-Harness-Bench 目前含 200 个可复现 harness bug。系统评测显示最先进的软件智能体在修复真实 harness bug 上能力有限,而将历史修复经验整理为指南可显著提升修复表现。
所属事件:AgentBug-Smith 自动发现并复现智能体框架真实 Bug(2 条相关)→
「编程与Agent」频道最新
- Murat 发布 TLAPS-Bench:用 TLA+ 形式化证明真实系统规格的正确性 — tianyin_xu · 2026-11-19
- Rivet 实战经验:别让 JEV 推理,拆成微小是非题反而更准 — yawnxyz · 2026-11-19
- 16 次 MVP 老手用原生 PowerShell 给微软 Intelligent Terminal 造了个自定义 Agent — dfinke · 2026-11-19
- 马斯克喊话:把 Grok Bot 当成一个很聪明的员工来用 — elonmusk · 2026-11-19
- Eve 编码工具复用编译器模块图,构建时间从 56.9 秒降到 6.9 秒 — evilrabbit_ · 2026-11-19
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19