如何做好 Eval：构建 AI 系统失败模式的分类法

realmadhuguru · x · 2026-08-20

关于如何做好 Eval 的系列文章第三部分。作者建议在完成 v1 评估后，首要任务是构建 AI 系统失败模式的分类法。具体步骤包括：研究最近的 500-1000 条生产追踪记录，聚焦失败案例，对其进行聚类和命名。文章强调必须具体化，不能泛泛而谈“糟糕的回答”，而应细分如“检索了错误的文档”、“检索了正确文档但无关部分”、“未能基于上下文产生幻觉”、“未拒绝回答反而编造信息”或“问题歧义且假设糟糕”等。只有精准命名失败模式，才能设计出专门捕捉它的评估测试，从而建立从评估到改进的飞轮。