Agent 回归测试实践:比序列断言更稳的四条验收方法
evaliqa · reddit · 2026-10-21
同一 prompt 每次产出不同的工具调用序列,严格顺序断言经常无意义地报红。作者给出自己的回归测试方案:
- 比较集合而非顺序:断言工具调用多重集包含必需项,只在有真实依赖处检查顺序(如退款前必须先查订单)
- 每场景设必需/禁止清单:必须调用 lookuporder,禁止在无前置验证时调用 deleteaccount 或 issuerefund,禁止项单次触发即硬失败
- 固定 N 次重复,按通过率评分:如生产温度下 N=10,支持的 API 固定 seed
- 统计方法区分波动与回归:用 Fisher 精确检验或置信区间比较基线与候选版本的通过率,只在下降统计显著时才挂掉构建
作者也抛出未解问题:N=10 检验力很低(90%→70% 的下降难以可靠检出),提高 N 又费钱费 CI 时间;以及 CI 里该用温度 0 还是生产温度、如何处理无害的多余调用而不放松到掩盖真问题。
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23