新论文:编程 Agent 主动找虫仅报告人类修复 bug 的不到 20%,且分布错位
jyangballin · x · 2026-10-28
新论文「Frontier Coding Agents Find Different Bugs Than Maintainers Fix」研究主动性 bug 发现(proactive bug finding)方向:
- 让 agent 主动找 bug 时,它们报告的 bug 不到人类维护者实际修复量的 20%
- 但 agent 还报告了大量其他 bug,其中大部分是有效的——存在明显的分布错配
jyangballin 评论认为这是编码基准的好方向:过去一年 SWE-sweep、SWEeper-bench、PROBE 等多数基准都在把 SWE-bench 式任务做得更难,而「主动性」更多是让模型承担我们仍在做的有意义工作(如写 issue),而非为了难而难。
所属事件:研究:编码 Agent 找的虫与人类修复的重合不足 20%(3 条相关)→
「编程与Agent」频道最新
- 并行 Neo4j 导入为何反而更慢:锁竞争问题与修复方案 — JeremyCMorgan · 2026-10-29
- 用 Claude「音乐 MV 技能」批量生成 K-Pop 女团 MV 的完整工作流 — AIandDesign · 2026-10-29
- Pydantic code mode 实测:agent token 降 30%,8 模型 5276 次跑分提速 51% — samuelcolvin · 2026-10-29
- Decagon 打造自我改进的推理优化循环,长文拆解 inference stack 实践 — kimberlywtan · 2026-10-29
- 开发者用 Claude 写库做出 Obsidian 练琴插件:间隔复习排练计划 — dSebastien · 2026-10-29
- Sitzmann 开源自托管协作 LaTeX 编辑器 texwerk,原生集成编码 agent — vincesitzmann · 2026-10-29