AI Agent 测评怎么做？开发者晒出抓「假装调用工具」的工具
mbtigeekjung · reddit · 2026-10-01
一位开发者分享了自己构建的 agent 测试工具：让 agent 跑完整对话，自动标记典型失败模式，包括重复询问已有答案的问题、声称执行了动作却没调用工具、以及把本可转化的客户弄丢。
帖子同时向社区抛出三个实践问题：大家是测完整对话还是单条回复？如何抓到 agent「说做了」但实际没做？用真实对话记录、模拟用户还是凭感觉？讨论本身对做 agent 评测工程的人有参考价值。
「编程与Agent」频道最新
- Rox 实测：Jev 重排检索比 GPT-5 Mini 快 20 倍、便宜 10 倍 — hardimanjames · 2026-10-01
- 手机变游戏手柄：Godot 4 纯 GDScript 开源库发布 — film_girl · 2026-10-01
- 曝 Google AI Studio 内测安全审查模式,Plan 模式同步开发中 — testingcatalog · 2026-10-01
- AgenticROS 接入 Antigravity CLI,用订阅额度免费驱动 ROS 2 机器人 — chrismatthieu · 2026-10-01
- 只读账号不等于只读：AI agent 踩坑催生开源 agent-db-scan — Then_Respect_1964 · 2026-10-01
- Omni-IO Skills 开源框架让通用 Agent 掌握 27 项多模态技能 — _akhaliq · 2026-10-01