实测 3 模型审 PR:37 个真 bug 仅 11 个三家都发现
ParticularFan1122 · reddit · 2026-10-22
楼主用 3 周时间、40 个相同 PR,在 CodeRabbit 之外分别让 Opus 5.5、Sonnet 5.5 和 GPT-6 Sol 当代码审查员,手工统计结果:
- Opus 找出最多真 bug(约每 PR 1 个),但最慢最贵
- Sonnet 真实发现少约 10%,价格便宜约三分之一
- Sol 便宜快速,但漏掉大部分逻辑 bug,只要有测试就放行
最反直觉的是三者重合度极低:37 个真实 bug 中只有 11 个被三家同时发现;CodeRabbit 凭仓库上下文补了不少其余的,但在小 PR 上话痨。作者对照上周看到的 benchmark(头部模型只差几分、排名每次发布都洗牌)认为与体感一致,并询问大家现在实际用什么模型审 PR、是实测选型还是沿用 agent 默认。
「编程与Agent」频道最新
- iPhone 灵动键一键唤起 Hermes 智能体，开源方案 ConcoDispatch 走红 — Teknium · 2026-10-22
- 决策模型 Jev 替代 LLM 选择步骤，实测省钱最高 87% — femke_plantinga · 2026-10-22
- 开源工具 Scrawl 爆火：录屏圈画说话，直接把问题丢给 AI agent — aronchick · 2026-10-22
- Nous Research Hermes Agent 让每次审批直接显示价格 — Scobleizer · 2026-10-22
- Agent 权限灰区:合法动作也该拦?拉谁最后防线引热议 — Innowise_ · 2026-10-22
- 组合三个工具做 PR 预审:30 秒内出结果,成本 1 美分 — please-dont-deploy · 2026-10-22