Claude Code 前产品负责人 Cat Wu：10 个高质量 eval 胜过上百个

aakashgupta · x · 2026-11-13

Cat Wu 曾负责 Claude Code 产品，现执掌 OpenAI 核心产品。她谈了对 eval 的看法：多数人过度纠结 eval 理论——轴编码、开放编码、生成上百个测试用例等，其实没必要。

她的核心主张：不需要几百个 eval，做出 10 个高质量 eval 更重要。eval 的价值在于帮团队量化目标、看清差距与进展；更重要的是在 eval 之上与团队协作推进。帖子还给出了一份 eval 学习路线图（理论、第一性原理、实战案例、Braintrust 与 Arize 等）。