编码 Agent 的绿灯测试套件只证明会写测试，不证明功能可用

Future_AGI · reddit · 2026-09-09

作者举例：coding agent 改了 profile 页并让 CI 全绿，但保存按钮实际被 overlay 挡住、点击无效，功能根本没生效——测试套件只能证明它执行的行为正确，从未观察需求真正要呈现的界面。作者提出「done receipt（完成回执）」实践模式：记录请求结果与「拥有该表面的层」给出的证据——UI 改动要在浏览器里实际交互并检查渲染状态；API 改动要发请求并读持久化结果；迁移要执行并验证后置约束。核心原则是用最小可行检查观察具体验收声明的效果：浏览器检查证明不了索引建对了，数据库回读也证明不了按钮可达。低层快速定位失败的测试保留，但在绿灯看不到的地方补上结果证据。这还改变 agent 交付时的措辞：「测试通过」与「点击后确认可见」是两种不同性质的证据，应分别标注。