Agent 测试金字塔：从工具单测到人工抽检的五层测法

ClickOk5811 · reddit · 2026-11-08

Reddit 上一篇关于 agent 测试的系统性框架文章，核心观点是：agent 并非处处不确定，可以像测试金字塔一样分层，便宜的放底层。

五层结构（自下而上）

第 1 层：工具单元测试——工具就是普通代码，按普通方式测输入输出、超时和边界。很多「agent 太笨」的 bug 其实是工具返回截断列表这类问题。
第 2 层：工具契约测试——检查模型看到的 schema 和描述是否清晰、报错信息是否指导下一步；模型只能用好描述到位的工具。
第 3 层：mock 工具的脚本化轨迹测试——用固定工具响应替换环境，断言行为而非措辞：是否调用预期工具、是否未经批准调用危险操作、是否在步数预算内停止、出错时是重试还是编造结果。因输出有随机性，每个用例多次运行统计通过率。
第 4 层：真实任务结果评测——在沙箱里跑完整任务，检查最终状态（记录是否正确修改、工单标签是否正确），覆盖长输入、信息缺失、指令冲突等难例；可用模型当判官，但需先用已知答案验证判官。
第 5 层：人工抽检——阅读真实运行样本（包括成功的），关注高分运行的行为；成本高，主要用于发现新失败类型并反哺低层测试。

协同原则：上层失败时尽量在低层写复现测试；断言工具调用、状态变化和约束而非精确文本；按时间和类别追踪通过率。作者也指出局限：各层全过仍可能在没想到的输入上失败，第 4 层依赖沙箱接近生产环境。

「编程与Agent」频道最新