新论文:编码 Agent 主动找虫只覆盖人类修复 bug 的不到 20%

OfirPress · x · 2026-10-29

新论文《Frontier Coding Agents Find Different Bugs Than Maintainers Fix》研究主动式 bug 发现 agent:以人类已修复的 bug 为 holdout 集,agent 报告的 bug 覆盖率不到 20%,但报告的大量其他 bug 大多有效,说明 agent 与维护者关注的 bug 分布存在系统性错位。论文附各模型成本/效果数据:DeepSeek V4.1 Flash 召回 15.2%、精确率 8.1%、F1 10.5%,成本仅 73 美元;GPT-5.6 Sol(high)召回最高 20.8%,但成本达 1185 美元;GPT-5.6 Luna(low)成本最低 8 美元。Ofir Press 等人转发了该研究。