给编程 Agent 加回归测试怎么起步:先测削弱测试、超时恢复与提示注入

buttlickerbilla · reddit · 2026-10-15

作者探讨在一次性 Git 仓库中给编码 agent 设计最小回归测试集。场景：给 agent 一个小 bug 修复任务，允许本地编辑和运行测试命令，接受前检查 diff。作者提出三个值得覆盖的用例：1) 修复 bug 时不得削弱或删除现有测试；2) 工具命令失败或超时后 agent 能恢复而不虚报成功；3) 源文件/测试 fixture 中含无关指令时，agent 应把其当数据处理而非执行。并询问大家用哪种校验手段：任务断言、允许文件检查、工具调用记录等，偏好能本地跑的小方案而非大型 benchmark 框架。