CMU与微软CRBugBench:最强AI审查仅抓出71.9%已知bug
rohanpaul_ai · x · 2026-10-14
卡内基梅隆与微软的论文《(When) Should a Software Factory be Lights-off?》提出 CRBugBench：从 98 个开源 GitHub 仓库挖掘 1000 个 review 任务（外加一家大公司私有仓库 800 个），每个 PR 都含人工确认并修复过的真实 bug，测试 AI 审查 agent 能否指认该 bug。
关键发现：
- 最强的 claude-opus-5 前 5 条评论抓住 71.9% 的 bug，5 个月前的 opus-4.6 仅 47.7%
- 在私有企业仓库上性能骤降最多 25.5%，因为 bug 更依赖项目上下文
- 扩大算力对提升 bug 检出帮助有限；探索式 prompt 修改以 10% 额外成本换来最高 5.8% 提升
结论：AI 审查 agent 尚不能取代人类 reviewer，应作为辅助，并给 agent 提供仓库自有知识，尤其是大型或上下文密集的变更。
所属事件:CMU 与微软发布 CRBugBench：最强 AI 审查漏掉近三成已知 bug(2 条相关)→
「编程与Agent」频道最新
- AI 圈新风向：人人自研 eval harness 后，开始人人自建 GitHub — tekbog · 2026-10-14
- 微软 TeleTune：从离线日志学 agent 技能，省最多 75 倍 token — EliasEskin · 2026-10-14
- 开发者吐槽：AI 在架构决策上仍「笨得离谱」 — teropa · 2026-10-14
- 「编程问题没被解决，只是你不再读代码了」 — prasenx · 2026-10-14
- 开发者：超级 AI 编程智能体已到手,应用形态却还停在五年前 — mhmazur · 2026-10-14
- FrontierML 基准：给 agent 发钱包，测谁最会用钱换性能 — akbirthko · 2026-10-14