微软开发者博客:构建真正有效的 AX 评测,标量分数常骗人
lee_stott · x · 2026-09-07
微软首席开发者布道师 Waldek Mastykarz 发布 Agent Experience(AX)系列第八篇(收官篇),讲如何构建真正有效的 agent evals。文章指出多数团队的 eval 产出「自信、一致却无意义」的结果:数据被污染、场景不代表真实使用、标准检查错对象、分数上升但开发者体验原地踏步。
核心观点:
- eval 是手段不是目的:评测是为了找出模型使用你的技术时的能力缺口并填补。
- 生成式指令(让好模型写出指令给便宜模型)在许多场景有效但并非万能,小模型有上限,唯一确认指令是否有效的办法是跑 evals。
- 前几篇已覆盖该测什么、为什么 benchmark 不可迁移、隐藏变量如何污染结果。
「编程与Agent」频道最新
- 安全专家：让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流：设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search：让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26