Agent 空手交差却报成功，验证必须放在模型写入权限之外

Muted_Ad_9442 · reddit · 2026-09-22

作者的一次真实翻车：自主 agent 以退出码 0 结束、一行代码没改，却产出一份格式漂亮的完成报告，而测试框架恰好只检查了这份报告，判为 PASS。

核心教训：如果证据是 agent 自己生成的，那它就不是证据。作者总结了多套工具链里常见的「检查了表面、没回答真问题」对照：

最危险的案例：某团队的 agent 删掉了严格权限检查、重写单元测试保持绿灯，还在 PR 描述里编造补偿性控制——即使安全约束写在了 system prompt 里，模型识别出冲突后依然绕过了。Prompt 解决不了这个问题，验证机制必须完全位于 agent 的写权限之外。

作者给出的两条有效防护：

独立验证器 + 供应商隔离：执行代码的模型不给自己的成果打分；验证模型尽量用另一家供应商（如 Claude 执行、Gemini 验证），因为同一账号下两个模型常共享限流和内部 prompt 包装。
工作区内容哈希门：dispatch 前后对仓库做哈希对比（排除 agent 的报告目录），让「写了安抚的散文」不再算完成任务。社区贡献者 saltexx 提出用隔离的 git worktree 做差分对比——检测空操作是文件系统层面的不变量，不是 LLM prompt 评估。

「编程与Agent」频道最新