21 个 LLM 代码审查横评：近 8000 次审查，更高推理强度常降精确率
Electrical_Walrus537 · reddit · 2026-10-21
IronBee 团队发布了一项代码审查基线研究：模型只看 PR diff 和变更文件、不给工具和仓库访问权，能发现多少问题？共测试 21 个模型、多种推理强度、每配置 3 次运行，合计 7,980 次审查，使用 Martian's Code Review Bench 的 50 个真实 PR（两个昂贵模型用 10 PR 子集）。
关键发现：
- 更高推理强度显著提升 18 个模型中 13 个的召回率，但降低其中 11 个的精确率；对头部模型，额外思考并未改善整体 F2 分数；
- 抽查基准判为假阳性的 48 条发现，其中 13 条其实是基准参考答案漏掉的真问题；
- 用同一评审面板重评 21 款审查工具的历史结果：最强裸模型与最强工具落在同一统计组（F2 更重召回）。但作者承认局限：公开数据集小、工具结果是早期采集而非同期重跑。
代码、提示词、输出与评分已开源，附完整博客。图中 balanced 组包括 Claude Opus 5 low、Claude Sonnet 5.5 low、Muse Spark 1.3、Grok 4.7 low、Claude Opus 5.5 low 等。
「编程与Agent」频道最新
- 6 个 Claude 日常设置：让 AI 学你而不是你学 AI — evielync · 2026-10-21
- pstack 之于 agent skills，正如 shadcn 之于 UI — zbeyens · 2026-10-21
- Claude Max 套餐每月含 100 美元 API 额度，截图还现 Opus 5.5 与 1M 上下文 — michalmalewicz · 2026-10-21
- 求职两年 250 份简历被拒,跑起 20 个 agent 后拿下 50 万美元 offer — msharmas · 2026-10-21
- AI Agent 用 GarageBand 自动为乔布斯演讲配乐 — itsOmSarraf_ · 2026-10-21
- 开发者用四 Agent 协作搞定赞助帖写作，中途换角度也不用推倒重来 — alifcoder · 2026-10-21