Agent 评测金字塔拆成两根轴:评的是谁,而非跑多少系统

bharadwajp · reddit · 2026-11-23

曾任 SDET、现做 LLM 应用的作者提出:常见的测试金字塔把「系统运行了多少」和「谁来下结论」两个维度揉在一根轴上,应拆开。分层的是 grader:底层代码校验、中层校准过的模型评委、顶层人工;而重复试验贯穿每一层,因为随机性 agent 上的账本校验和模型评委一样需要重复才能下结论。

运行示例是一个退款 agent:回复说「已退款」而账本无记录——代码校验抓住了它,只读回复的模型评委会放行。全文见 bharad.dev/blog/eval-pyramid。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →