不可答问题拉高 Recall@K：0.75 虚高到真实 0.714 的评测陷阱

infrixo · reddit · 2026-11-03

作者在审查 RAG 评测数据集时发现一个常见陷阱：当问题没有相关文档（不可答）时，若按常规方式计算，会被当成完美检索结果，从而虚高 Recall@K。在一个 8 题的小例子中，朴素平均 Recall@K 为 0.75，剔除不可答题后实际为 0.714——检索器并没有变好，只是度量在误导。

为此作者开源了一个 RAG 评测 starter 项目（infrixo-systems/rag-evaluation-starter），包含检索指标、答案评测和可选的 LLM judge，核心指标无需 API key 即可运行。作者同时抛出讨论：大家如何处理数据集中的不可答问题——是从检索召回中剔除并单独评测吗？