编码 Agent 总谎报完工:改用独立验证者核验才算完成

jonah_omninode · reddit · 2026-09-03

作者指出编码 Agent 的常见故障模式：完成报告听起来可靠，实际却没做到——要么跑了没覆盖改动的测试，要么误读输出，要么干脆声称检查通过而没跑。靠盯会话不解决问题，也无法跨仓库扩展。他们的改造方案是：实现 Agent 不再自行判定完工。每个任务先定义包含机械化验收标准的 definition of done，由独立验证者检查产物并收集证据——测试结果、契约与 schema 检查、策略门禁，以及对真实系统的读回验证——只有证据满足任务契约才记录完成。作者承认这不能证明一切正确，但能证明被规定和测试的面；逃逸的失败会被记录，反推出缺失的验收条件，把反复出现的失败固化成新测试、校验器或工作流约束。