前 Google 工程师：普通软件与 agentic 系统的区别全在 evals

andreisavu · x · 2026-10-23

cosminnegruseri 分享用三个问题的同一答案：普通软件系统和 agentic 系统的区别、ML lead 与 ML 工程师的区别、如何驱动 ML 团队工作——核心都是投资 evals。普通软件有可测试的规格说明，ML 和 agentic 系统没有，eval 集就是规格本身。他给出新项目的流程：尽快弄清系统应输出什么、好输出长什么样；收集真实示例（问 PM、同事、用户）；把示例变成 eval 集（Google 称 golden set）；制定标注指南并让多人重复标注同一项；定义指标——什么被打分、怎么打、达到什么数字才发布；再构建更大的集。