RAG 评测翻车实录:系统没错,eval 却失败了

Al_Grigor · x · 2026-10-31

Alexey Grigorev 分享了他 FAQ RAG 系统评测中的一个反直觉案例:评测框架会重放历史学生提问,检查系统分类是否正确。学生最初提交新问题时,系统正确分类为 NEW;但数月后该问题已进入知识库,重放同一输入时系统正确判为 DUPLICATE——评测却报了失败,尽管系统没坏。

他的解法是 leave-one-out 评测:重放前先删掉该问题当初生成的 FAQ 条目,还原原始数据状态;实验用 Cometml 的 Opik 追踪。核心教训:评测 RAG 系统时要复现当时的数据状态,而不只是原始 prompt。