像药物双盲试验一样做 LLM 代码评审,bug 检出率从 48% 升到 70%
GianniMariani · reddit · 2026-10-20
作者发现项目复杂后,测试全绿不代表没问题,让 LLM 自审只会得到「没问题」。他仿照制药行业的双盲临床试验设计了 DBASFR(Double-Blind Adversarial Split-Focus Review)协议:
- 双盲:剥离作者模型的推理痕迹和辩解笔记,评审模型不知道谁写的;多个评审并行隔离,避免「结盟」达成同样的幻觉共识。
- 对抗:不再问「这代码好不好」,而是命令评审唯一的任务是证明这个改动会坏,并给出具体可复现的失败路径。
- 分焦:放弃一个「全面评审」大 prompt,改为一个 agent 只盯状态/生命周期泄漏,另一个只管 API 契约。
效果立竿见影,结构性盲点的捕捉明显改善;作者引用研究称让评审「失明、多疑、敌对」能把人工验证的 bug 检出率从约 48% 提到 70% 以上。代价是 token 消耗快,作者通常限制为 2 个并行评审 agent。
「编程与Agent」频道最新
- Vercel 推出免注册部署:拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件,组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工,实测有效 — nbaschez · 2026-10-23
- Sierra 伦敦大会被指逊色旧金山场,Agent 落地数据成稀缺话题 — DimlyDimwitted · 2026-10-23
- 开源 C-Sweet 用本地 27B 小模型模拟整家公司运营 — Demonicated · 2026-10-23