Agent 评测金字塔拆成两根轴:评的是谁,而非跑多少系统
bharadwajp · reddit · 2026-11-23
曾任 SDET、现做 LLM 应用的作者提出:常见的测试金字塔把「系统运行了多少」和「谁来下结论」两个维度揉在一根轴上,应拆开。分层的是 grader:底层代码校验、中层校准过的模型评委、顶层人工;而重复试验贯穿每一层,因为随机性 agent 上的账本校验和模型评委一样需要重复才能下结论。
运行示例是一个退款 agent:回复说「已退款」而账本无记录——代码校验抓住了它,只读回复的模型评委会放行。全文见 bharad.dev/blog/eval-pyramid。
「编程与Agent」频道最新
- 环境智能新玩法:语音随时唤起后台多 Agent 干活 — bfrench · 2026-11-23
- 投资人断言:企业只剩 3-5 年把基础设施重建为「知识工厂」 — hwchase17 · 2026-11-23
- 资深开发者:AI 时代最难的是辨别哪些旧最佳实践已成反模式 — DavidWells · 2026-11-23
- AI 时代开发者新超级能力:学架构模式、驾驭而非手写代码 — DavidWells · 2026-11-23
- 开源 orgchat:让 Claude Code 与 Codex 等 agent 跨机器互发消息 — Nice-Enthusiasm8191 · 2026-11-23
- 全代码 Claude 写的武侠游戏《长风》:浏览器即开即玩,一天出首版 — Promptmethus · 2026-11-23