Attest 1.1 发布:录制 Agent 事故回放做 CI 门禁,变异测试暴露纯输出测试 0/29 拦截率
tom_mathews · reddit · 2026-11-15
作者发布 Agent 测试框架 Attest 1.1(Apache-2.0,Python/TypeScript,无托管服务无遥测)。核心场景:支付 API 提交退款后超时,Agent 无幂等键重试,客户被退两次款——而回复文案「您的 84 美元退款已处理」让所有输出断言全部通过。
工作流:
- attest capture 经回环代理录制 OpenAI/Anthropic 调用与 OTLP trace,自动脱敏、模板化易变值、从观察到的行为起草契约
- 行为契约如 expect(trace).toolcardinality("issuerefund", per="orderid", atmost=1),效果契约检查模拟支付 API 的最终状态
- PR CI 中回放录制,0 次真实调用、$0;prompt 变化触发 replay miss 并给出重录命令
- attest policy evaluate 作为合并门禁(0 block/1 block/2 warn),失败标注到对应测试行
- attest mutate 做变异测试:纯输出测试仅拦住 29 个变异中的 0 个,加契约后为 10/29
1.1 修复了审计发现的 73 项问题中 4 种「失败被判为通过」的情况(stdio 管道通知错位、超时响应被下个测试读取、并发 Vitest 响应串扰、pytest-xdist 空报告被接受),并新增未求值 expect 链报错、阻止删除基线断言的 PR。大部分代码由 Claude Code 与 Codex 按作者写的里程碑计划生成,审计也是该循环的一部分。作者寻找会改动真实系统(支付/工单/基础设施)的 Agent 作为设计伙伴。
所属事件:开源Agent测试框架Attest实现零模型调用CI回放(2 条相关)→
「编程与Agent」频道最新
- 开发者开源 45 个产品工程 Agent Skills：三个上线产品沉淀的完整流程 — PawelHuryn · 2026-11-16
- 别再做原型了：Claude 全流程让产品验证从数周缩到数小时 — PawelHuryn · 2026-11-16
- dspy-wsp 让前沿 LLM 直接改小模型权重:5 美元提升 18.3 个百分点 — stanfordnlp · 2026-11-16
- 一个 prompt 生成 97KB 水下世界：纯数学渲染手机跑 180fps — petrusenko_max · 2026-11-16
- Shreya Shankar 与 Hamel Husain 出书《Evals for AI Engineers》 — Dr_Singularity · 2026-11-16
- 开发者用 Antigravity 的 /swarm 同时跑 42 个子智能体协作开发 — petergyang · 2026-11-16