Anthropic 前 Claude Code 产品负责人:10 个好 eval 胜过几百个

aakashgupta · x · 2026-11-11

aakashgupta 整理了多位大厂模型 PM 关于构建 eval 的一手建议:

Cat Wu(Anthropic 前 Claude Code 产品负责人):培养模型直觉的三个习惯——多和模型对话并让它解释自己的行为(如 Claude Code 改前端后没真用 UI 就跑测试,追问能暴露 system prompt 里的误导点)、找到 5 个最信任的用户快速获得反馈、构建 eval。她强调「不需要几百个 eval,10 个高质量 eval 就足以帮团队量化目标、进度和差距」。
Dianne Penn(Anthropic):从 30-40 个模型做错的例子起步,直接变成 eval 集。
Daniel McKinnon(Gemini/Llama):让新 eval 处于模型 25%-50% 通过率的难度区间,通过后立刻写更难的。

作者自己实测:为 newsletter 问答产品构建 48 道 held-out 问题,eval 抓住了 vibe check 漏掉的严重问题——某版本答案排版漂亮,但 47 个来源中 38 个指向不存在的文章;eval 也纠错了 grader 本身的格式误判(「five」vs「5」)。

他统计了 46 个在招模型 PM 岗位,76% 明确要求 eval 能力;OpenAI PM 反馈研究员接到问题的第一句话就是「我们能建个 eval 吗?」。文末给出今晚就能上手的四步法:选模型薄弱任务→写下 10 个失败案例→标注正确答案→在两个模型上对比运行。

「编程与Agent」频道最新