The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval
Jamie Holdcroft, Abdelrahman Abdallah, Adam Jatowt
EMNLP 2026
cs.IR
2026-09-14
11种检索器、28个数据集上,用top-1相似度做RAG弃答在逻辑与时间推理上接近随机;Score Gap与LSMV最多把弃答AUROC抬0.16,零额外开销。
生产 RAG 里,LangChain、LlamaIndex 一类工具默认用「相似度超过阈值才把文档交给生成模型」。隐含假设是分数高就是检索成功。
稠密检索器按语义相近训练。查询一旦带逻辑约束或时间约束,语义对上、约束不对的文档照样能拿到很高的分。两句查询可以有一模一样的 top-1 分数 0.85:成功检索的分数分布陡降,失败检索几乎是平的。论文把这种高分假自信叫 Magnitude Mirage。
问题被写成零成本的 Query Performance Prediction:只看已经算出来的 top-k 分数分布,给这条查询一个置信度,用来决定要不要弃答。成功标准是 NDCG@k > 0,对应「上下文窗口里至少有一条能用的段落」。
对照基线是 MaxScore,直接拿 s1。另外五条都吃分布:
评测切成三档认知难度:BEIR 语义匹配(SciFact、FiQA、NFCorpus、SciDocs),BRIGHT 逻辑推理 12 个子集,TEMPO 时间推理 12 个子集,一共 28 个数据集。检索器 11 个,覆盖 BM25、BGE、E5、Contriever、SBERT、SFR、Qwen、Instructor-Large,以及 Diver、RaDeR、ReasonIR 这类推理增强编码器。k 取 5、10、25、50。主指标是弃答 AUROC。
端到端实验把 11 个检索器在 BRIGHT 上的 top-5 文档交给 Qwen3.6-27B,用 GPT-4o 对照金标证据判对错,共 19,376 个查询-检索器对。按置信度只答最有把握的前 p% 查询。
Magnitude Mirage 在所有架构上都会出现,而且随推理难度变重。BRIGHT 上每个模型的 MaxScore AUROC 都挤在 0.520–0.611,基本没有可用的弃答信号。TEMPO 上 Qwen 掉到 0.536,ReasonIR 掉到 0.544。BEIR 上 BGE、SFR 还能到 0.749、0.754,ReasonIR 已经只有 0.621。
换成分布信号后,校准能回来一截:
| 模型 | 任务 | MaxScore | 最好的分布信号 |
| Instructor-Large | BEIR | 0.583 | LSMV 0.741(+0.158) |
| Qwen | TEMPO | 0.536 | Gap 0.661(+0.125) |
| Qwen | BRIGHT | 0.571 | Gap 0.653(+0.082) |
六条分布指标彼此差最多大约 0.017 AUROC,而它们相对 MaxScore 的增益是 0.05–0.16。论文把这个倍数写成 5–10 倍:换掉绝对值,比在分布统计量里精挑细选重要得多。稀疏检索是例外,BM25 在 TEMPO 上 NQC(0.602)明显好过 Score Gap(0.526)。
连续指标同序。Qwen 在 TEMPO、k=25 时 MaxScore 与 NDCG 的 Pearson r 只有 0.028,Score Gap 到 0.303;BRIGHT 上是 0.193 对 0.401。
端到端更直接。不弃答基线准确率 63.5%。MaxScore 在 10% 覆盖下只有 65.8%,若干检索器还低于基线。Gap@25 是 74.1%、71.0%、68.8%(覆盖 10%/25%/50%)。最极端的是 Qwen2、10% 覆盖:MaxScore 留下的查询只有 39.1% 答对,比基线 65.8% 低 26 个点;Gap@25 是 76.8%。同一批查询、同一个检索器,换置信度信号下游差 38 个点。对 Qwen2,MaxScore 与答案对错的 AUROC 95% 置信区间是 [0.398, 0.459],落在 0.5 以下,原始相似度与成功负相关。
这是一条能立刻改生产配置的结论。top-k 分数本来就有,Score Gap 或 LSMV 替代阈值不增加一次模型调用、不重训、不改延迟。论文自己把增益说成「有意义但中等」:BRIGHT 上最好也只到 0.65 左右的 AUROC,远不是完美弃答器。它解决的是「别再用 s1」,不是「从此可以放心自动弃答」。
对已经在用固定相似度阈值的团队,这比上 LLM-as-judge 或 cross-encoder 便宜一个数量级。阈值仍需在验证集上标定到目标精确率或弃答率。
端到端只用了一个生成器 Qwen3.6-27B 和一个判官 GPT-4o,换模型、换提示、换判分协议会不会还成立,论文自己标成未决。实验全在公开基准上,领域语料、私有查询分布、自训检索器的校准可能不同。
成功定义是 NDCG@k > 0,对「窗口里有一条相关」友好,对「排序质量」不敏感。附录显示 k=5 到 50 排序稳定,但绝对数字会随这个定义变松。
论文没有把零成本方法的上限钉死:剩下的差距能不能不用 rerank 或 LLM 校验就补上,没有对照。Score Gap 在 BRIGHT 12 个子集里有 2 个不如 MaxScore,例外幅度不超过 0.055。