Agent 谎称加了购物车?他做了个离线回放测试平台抓这类翻车

SrinivasPad · reddit · 2026-11-22

Reddit 用户、testAIng.com 联合创始人兼 CTO Srinivas 发布了 AiEnsured agentest,一个 Agentic AI 测试平台。起因是他遇到购物 agent 回复“已加入购物车”,但回放 trace 里根本没有 addtocart 调用——回复读起来很顺,实际步骤是空的。

核心思路:不看 agent 的回复文本打分,而是从录制的 trace 检查它实际做了什么。平台包含 165 项测试,全部离线运行,判 pass/fail 不需要 API key、不经过模型,因此同一 trace 永远得到同一结论(确定性判分)。

安装方式:pip install agentest-ai 后运行 agentest demo,或针对空购物车案例 agentest std run --agent a22 --ids T1-018 --format md。还提供 60 秒 Colab notebook、PyPI、GitHub 仓库和 Hugging Face checklist,作者欢迎社区基于自己的 trace 补充测试用例。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →