研究:人机组合查 bug 达 82.1%,各自单独只约一半和 71.9%
rseroter · x · 2026-10-16
RDEL 第 165 期探讨「AI 评审 agent 能否取代人类代码评审」:
- 关键数据:人类与 agent 抓到不同的 bug,组合起来能发现 82.1%;人类单独约 50%,最佳 agent 单独为 71.9%。
- 研究指出传统评测方法的缺陷:很多 benchmark 把人类评审评论当标准答案,但人类评论包含 nitpick、碍于情面被接受的建议、以及漏掉的 bug,导致 agent 发现人类漏掉的 bug 反而被判错。
- 语境:「关灯软件工厂」(AI 写码+AI 评审、几乎无人监督)成为讨论热点;GitHub Copilot 和 Claude Code 等工具正内置评审 agent。人类评审本身有已知局限——变更越大越不仔细,且 SOC2 等标准要求评审环节。结论:agent 越来越强但仍会漏东西,短期内人机组合优于任一方单独工作。
「编程与Agent」频道最新
- 开发者吐槽考虑用 Rust 重写 agent 平台,只因编译速度对 agent 关键 — lucasmeijer · 2026-10-16
- Bland 推出 iMessage 商用客服代理,语音短信共用一套人设 — ycombinator · 2026-10-16
- 开发者用 Codex 遥控 CAN-bus 电机,目标造出 Codex 造的机器人 — OpenAIDevs · 2026-10-16
- 开源 smallwords:一处词表同步 GBNF、JSON Schema 与校验逻辑 — Empty-Reflection4280 · 2026-10-16
- 亲历者复盘:Fleet 早期堆了近 200 个回归 eval 仍永远在追赶 — BraceSproul · 2026-10-16
- Box AI Extract 携手 OpenAI Decisions API:文档自动分类进对应工作流 — craigsdennis · 2026-10-16