Agent 谎称加了购物车?他做了个离线回放测试平台抓这类翻车
SrinivasPad · reddit · 2026-11-22
Reddit 用户、testAIng.com 联合创始人兼 CTO Srinivas 发布了 AiEnsured agentest,一个 Agentic AI 测试平台。起因是他遇到购物 agent 回复“已加入购物车”,但回放 trace 里根本没有 addtocart 调用——回复读起来很顺,实际步骤是空的。
核心思路:不看 agent 的回复文本打分,而是从录制的 trace 检查它实际做了什么。平台包含 165 项测试,全部离线运行,判 pass/fail 不需要 API key、不经过模型,因此同一 trace 永远得到同一结论(确定性判分)。
安装方式:pip install agentest-ai 后运行 agentest demo,或针对空购物车案例 agentest std run --agent a22 --ids T1-018 --format md。还提供 60 秒 Colab notebook、PyPI、GitHub 仓库和 Hugging Face checklist,作者欢迎社区基于自己的 trace 补充测试用例。
「编程与Agent」频道最新
- 网页版“手心吐龙”:Three.js+MediaPipe 手部追踪+WebRTC 组合技 — techartist_ · 2026-11-22
- Google Antigravity 多智能体协作 UX 获开发者点赞 — majidmanzarpour · 2026-11-22
- 开源 Store Scraper MCP:一站式查询 App Store 与 Google Play 数据 — modelcontextprotocol · 2026-11-22
- etapa MCP:面向骑行新手的 AI 教练,免费生成训练计划 — modelcontextprotocol · 2026-11-22
- 用 Claude Code hooks 自动沉淀会话记忆,跨 Codex/Cursor 共享图谱 — blaizedsouza · 2026-11-22
- Brandon Galang:模型足够强后,UI 和脚手架将让位于上下文流动 — brandongalang · 2026-11-22