Agent 上线前先做输出评测
cool-93 · reddit · 2026-07-12
作者认为，创始人不必真正“理解模型内部是怎么工作的”，更重要的是建立一套**可重复、偏工程化**的质量把关流程，确保坏输出不会直接暴露给用户。 核心做法包括： - 用已经知道“差不多正确答案”的提示词做测试 - 覆盖边界情况，不只测正常路径 - 新版本和旧版本做对比 - 一旦新版本在旧版能通过的点上退化，就不要发布 - 上线前先准备好回滚方案 他的重点不是按研究员的标准评估模型，而是判断输出是否已经足够好，能满足产品和用户需求。最后他也在询问：已经把 agent 上到生产环境的团队，究竟更依赖 golden dataset、人工审核，还是自动化 eval。