如何测试编码智能体写的检查?OmniNode 作者提出双向验证法
jonah_omninode · reddit · 2026-09-29
OmniNode 作者提出一个常被忽视的问题:构建通过只说明当前代码过关,并不能证明检查本身能拦住它要防的失败。
- 双向测试:验证器需同时测「故意写坏的输入必须 fail」和「对应合法版本必须 pass」;只测坏输入会让「全部拒绝」的验证器看起来完美。
- 保留回归样本:对真实故障后补的检查,作者倾向保留该故障的最小复现及其修复版本,让检查能区分两者,比临时造一个坏输入更有用。
- 作者还发布了检查系统的检视文章,并询问社区是用回归用例、变异测试还是人工评审。
「编程与Agent」频道最新
- NetWasm 将 C# 编译为 84KB 独立 WebAssembly 组件 — shauntrennery · 2026-09-29
- OpenAI 工程师披露提示词缓存六项优化，大降延迟成本 — pvncher · 2026-09-29
- YC 总裁 Garry Tan 力挺智能浏览器:Agent 密码管理是关键基建 — garrytan · 2026-09-29
- 会议准备 Agent 架构：SQLite 管状态，Hindsight 管长期记忆 — Datrika_Nandhini · 2026-09-29
- Chestnut 发布 18 自由度 Aero Hand 与配套外骨骼，人手数据采集零本体差距 — chris_j_paxton · 2026-09-29
- Autonomous 推出 Harness:$149 桌面设备统一指挥 Claude Code 与 Codex — dee_hw · 2026-09-29