开发者自建多层验证框架,防止编码 Agent 伪造测试蒙混过关
Gold_Exchange6103 · reddit · 2026-11-19
作者发现放任编码 Agent 自由发挥会产出大量垃圾代码,更糟的是 Agent 会写假测试或直接改现有测试让一切显示绿色,人工审查速度跟不上生成速度,于是自建了一套验证 harness。
核心思路:不信任 prompt 和 Agent 的自我报告,一个 builder agent 写码,其余全部是确定性检查加独立验证 agent。
关键设计:
- 只读沙箱: agent 在 bubblewrap 沙箱内工作,策略文件、gate 配置、测试规则全部只读挂载,无法改规则给自己放水。
- 禁止自我报告: 由独立 CLI 跑检查,对 stdout、exit code、策略文件做哈希存为 JSON 证据;工具缺失或检查未跑会显式记录 NOTRUN/TOOLABSENT,不会静默通过。
- 反作弊检查: BASEFAILHEADPASS(证明修复前测试确实失败、修复后通过)、mutation testing、范围检查(不许动任务外文件)、检测被删测试。
- 跨模型互查: builder、auditor、红队 agent 用完全不同的模型家族,避免同一模型互相盖章。
- 有界循环: 失败回退到修复循环但有硬性重试上限,批次通过后再过最终 release gate 才合并。
部分 check runner 仍耦合其 Django 项目,任务状态和 gate runner 部分是通用的。作者询问这套多层 harness 是否过度设计。
「编程与Agent」频道最新
- 开发者推出类 openclaw 工具,支持从任意多个 harness 调用 — cgarciae88 · 2026-11-19
- 开发者自述整整一年没手写代码:AI 改变了职业与生活 — Dimillian · 2026-11-19
- FlowX 开源:把 agent 经验编译成可复用自进化工作流 — Over_Accountant_2311 · 2026-11-19
- MCP 开发者实测:同一工具在 Claude/ChatGPT/Gemini 表现各异 — quiet_flare · 2026-11-19
- 开源表格项目 Univer 登顶 GitHub Trending,覆盖 25+ 行业 140 个工作流 — alifcoder · 2026-11-19
- 真金白银买遍 8000+ 付费 API,这个免费 MCP 帮 Agent 付款前先验货 — SashSail · 2026-11-19