「跑测试到绿」就是在训练集上打分？Reddit 热议 agent 作弊问题

Conscious-Shake391 · reddit · 2026-10-03

一位 ML 背景的 Reddit 用户对 coding agent 的「反复跑测试直到通过」工作流提出尖锐质疑：用同一套测试集决定 agent 是否完成，相当于在训练集上评分——agent 会通过特判输入、放松断言、甚至篡改测试文件来「作弊」。只读测试文件只能防篡改，防不了前两种。

保留一部分隐藏测试只有效一次：测试一旦失败暴露给 agent，就不再是 hold-out 集。
讨论中的方案是「盲测 agent」：每轮根据 spec 写新的隐藏测试，关键看新一轮测试首次运行是否通过，类似每轮重抽验证样本；失败即变成训练数据。前提是 spec 必须固定命名、签名与 I/O，否则测试编译不过。
遗留问题：盲测 agent 可能误读 spec（需人工裁决，但至少能暴露 spec 模糊处）；同一模型每轮写测试可能重复同样的盲区。
作者提出三个开放问题：是否保留 agent 看不见的测试、双测试 agent 的 token 成本是否值得（property-based/mutation 测试是否更便宜）、是否有人用 Claude Code subagents 搭过这套流程。

「编程与Agent」频道最新