CMU/微软论文:最佳 AI 代码审查员仅能抓出 71.9% 的已知 bug
rohanpaul_ai · x · 2026-10-14
Carnegie Mellon 与 Microsoft 发布 CRBugBench 基准(论文 arXiv:2610.13668),评估「无人值守软件工厂」是否可行:
- 构建方法:从仓库历史挖掘人工确认过的 bug,并配对其引入的 PR 形成审查任务;含 98 个开源 GitHub 仓库的 1000 个任务 + 一家大厂私有仓库的 800 个任务。
- 结果:最强组合(claude-opus-5 + copilot-cli)在 top-5 评论中抓出 71.9% 的 bug,五个月前 opus-4.6 仅 47.7%,进步显著但仍不足以取消人工审查。
- 短板:复杂变更和需要非局部推理的 bug 表现骤降;在更需要项目上下文的私有工业仓库上性能明显下滑。
- 改进方向:扩大推理计算量对提升检出率帮助最大。
所属事件:CMU 与微软发布 CRBugBench：最强 AI 审查漏掉近三成已知 bug(2 条相关)→
「编程与Agent」频道最新
- 用 Jev 小模型替 Claude Code 做琐碎决策,作者实测省约 30% token 成本 — Arindam_1729 · 2026-10-14
- CortexDB:一个 SQLite 文件装下 AI 记忆与知识图谱,80+ MCP 工具 — adnan_hashmi · 2026-10-14
- 斯坦福 CS 329Z 第 6 讲上线:脚手架即设计决策,DSPy 与 SWE-agent 作者授课 — stanfordnlp · 2026-10-14
- 15 年 GitHub 账号被封无人应答,Cloudflare Artifacts 顺势营销 — threepointone · 2026-10-14
- 曝 X 订阅捆绑 Cursor iOS：手机跑云端 Agent，一揽 Grok 与多款模型 — nima_owji · 2026-10-14
- Harness 即一切：Baseten 工程师结集出 AI 编排小书，讲选型与优化 — philipkiely · 2026-10-14