faithgate:RAG 忠实度回归测试门

ahumanbeingmars · reddit · 2026-07-06

作者因修改 prompt 后 RAG 机器人悄悄产生幻觉、却无任何报错而数日未察觉，于是开源了 faithgate。它针对忠实度做回归门控：维护一组问题/上下文/答案用例，对每个 prompt 或模型版本打分，接地度相比基线下降则 CI 失败；底层用 RAGAS Faithfulness 指标，默认 judge 用 Claude。作者用 20 篇文档语料植入三类幻觉（日期替换、实体替换、无依据拼接）验证，均被捕获，分数从 1.00 降到 0.29/0.12/0.20。作者坦承完全离线的无密钥 judge 模式较弱，40 条人工标注中仅识别 9/20 的不忠实答案，并配有单元测试断言该数字。