读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信
blaizedsouza · x · 2026-11-02
作者在读完 46 份关于 agent 评测（evals）的资料后写了一篇长文，起因是一个反常识的经历：她自己的 agent 在自写评测里拿了 95% 高分，但她明知其中有问题。文章系统梳理 agent evals 的核心知识：为什么自己写评测自己打分会自欺、如何设计能暴露真实弱点的评测集，以及常见误区。对做 agent 工程的人来说是一份少见的系统性中文圈外的入门+进阶材料。
「编程与Agent」频道最新
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02