AI 工程师必须掌握的 10 种 agent 评测方法
Roger_M_Taylor · x · 2026-07-25
这是一条转发线程，核心是整理 10 种 AI agent 评测方法，重点讲的是怎么把评测做成工程化流程，而不是只看最终回答。
- Golden set：固定一组测试样本，每次改 prompt、模型或工具后都重新跑，防止“悄悄回退”。
- LLM as judge：没有标准答案时，用第二个模型按 rubric 打分。
- Rubric scoring：把正确性、语气、安全性、成本等维度拆开评分，避免一个总分掩盖问题。
- Trajectory eval：不仅看最终结果，也评估 agent 的路径，包括动作、决策和工具调用。
文中还顺带提到 OpenAI Evals、OpenEvals、DeepEval、AgentEvals 等工具，说明这些评测思路已经有现成实现可借鉴。
「编程与Agent」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- InfoWorld：别把模型当地基，Agent 架构必须做到 48 小时可换模型 — rseroter · 2026-10-27
- 便宜模型跑 Agent 反而更贵：线性往返堆爆上下文窗口 — vasuman · 2026-10-27
- 5 千行 Rust 单二进制看板 Kanzo：给 Claude Code 当任务板 — allmudi · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27