AI 工程师必须掌握的 10 种 agent 评测方法
Roger_M_Taylor · x · 2026-07-25
这是一条转发线程，核心是整理 10 种 AI agent 评测方法，重点讲的是怎么把评测做成工程化流程，而不是只看最终回答。
- Golden set：固定一组测试样本，每次改 prompt、模型或工具后都重新跑，防止“悄悄回退”。
- LLM as judge：没有标准答案时，用第二个模型按 rubric 打分。
- Rubric scoring：把正确性、语气、安全性、成本等维度拆开评分，避免一个总分掩盖问题。
- Trajectory eval：不仅看最终结果，也评估 agent 的路径，包括动作、决策和工具调用。
文中还顺带提到 OpenAI Evals、OpenEvals、DeepEval、AgentEvals 等工具，说明这些评测思路已经有现成实现可借鉴。
「编程与Agent」频道最新
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11