开源 Attest 框架:CI 里录一次回放测 Agent,零模型调用零成本
tom_mathews · reddit · 2026-11-15
作者发布开源(Apache-2.0)Agent 测试框架 Attest:用本地录制代理录下 Agent 的每一次模型调用,CI 中回放录制内容跑测试,做到 0 次真实模型调用、$0 成本。要点:
- attest capture 录制,attest replay 在 CI 回放;改了 prompt 会报 replay miss 并指出变化
- 确定性检查优先:schema、成本/token/延迟上限、工具调用顺序与次数、对模拟后端的实际影响,均不需要模型
- 相似度检查用内置 ONNX all-MiniLM-L6-v2 本地 embedding;需要 judge 时可指向任意 OpenAI 兼容本地服务(vLLM/Ollama/LiteLLM)
- judge 返回畸形 JSON 一律记为 not evaluated,绝不误判为通过
- 1.1 版修复了 1.0 中四种「失败断言被报为通过」的正确性问题
演示是一个客服 Agent 重复退款的故事,无需 API key 两分钟即可跑通。作者坦承大部分代码由 Claude Code 和 Codex 根据他写的计划生成。
「编程与Agent」频道最新
- T.R.U.S.T. 框架:逐项判断哪些工作可以放手给 AI Bot — bfrench · 2026-11-15
- 只读 MCP 服务器:让 Claude Code 自动为你的 Agent 写回归测试 — tom_mathews · 2026-11-15
- 实测 bot 审计:分诊加深读比全量跑 prompt 省 64% 输入且更稳 — bfrench · 2026-11-15
- 企业里 AI Agent 数量失控了吗?Reddit 热议 Agent 治理难题 — CupRare814 · 2026-11-15
- 用 Claude Code 开发 VR 岛屿冒险游戏:写 C#、搭关卡、连视频剪辑都包了 — Illustrious-Lynx3673 · 2026-11-15
- 开发者反思:把 Agent 当主要用户后,数据模型反而变简单了 — Pristine-Student4702 · 2026-11-15