Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG
Suting Chen, Peichun Hua, Yunming Xiao
cs.CL, cs.IR, cs.LG
2026-09-28
RINSE用覆盖、答案跨度与跨段信号在生成前判定证据是否充分。六数据集配对排序0.837，超过最优旧法0.746与API前沿模型0.784，单卡36.5毫秒。
RAG把检索段落塞进生成器，但相关不等于够回答。一段文字可以对上人名、地点、事件，却缺问题真正要的那一处事实。语义检索总会返回top-k，系统接下来该直接答、再搜还是拒答，检索层给不出覆盖信号。
生成器自己几乎看不出缺口。12个模型（135M-32B）被要求没有答案就回复unanswerable，在300条充分加300条不充分记录上仍回答了40.0%-99.3%的不足题，并最多拒答29.7%的充分题。Phi-4答了40.0%，SmolLM2-135M答了99.3%。7-32B生成最多24 token的中位延迟150-855毫秒，缺口应在调用前抓住。
把拒答训进生成器（微调、偏好对齐、RL）学到的更接近模型自己会不会。证据支不支持只在参数知识已与检索对齐时才重合，而这正是RAG要拿掉的假设。NeoQA用编造新闻，四种读已生成答案的方法排序只有0.503-0.520，随机是0.5。
充分性是问题与证据的属性，不该绑在某个生成器上。任务是在生成前判断证据是否含完整答案所需信息，包括中间事实。
评测必须先于打分器。删相关段落或配无关问题会留下词重叠、段数、位置捷径：SQuAD 2.0上问题词覆盖把可答与无关题分到0.993，对就该段落写的不可答题只有0.573。三类成对对照压捷径：替换保持问题与段数、换掉必需段落；删除拿走支持并选用段数几乎无信号的NeoQA（1-120段，段数得分0.563）；问题对换固定证据、配相关但答不出的问题。指标是组内pairwise accuracy，充分侧更高的比例，平局记0.5。
对照里证据不够有三条路：问题局部没覆盖、在题上但无答案跨度、事实散在多段。RINSE用三个不解码reader，按集合大小校正后等权相加。content把问题切成重叠4子词窗口，在同一出处内匹配，结合IDF重叠与118M reranker。span是125M RoBERTa抽取器，用Natural Questions空答案监督，打有跨度相对无答案的间隔。latent冻结Qwen2.5-1.5B-Instruct，对问题和前5段一次前向，把第17层最后token投到充分减不充分的方向上。骨干冻结，拟合时留出当前家族，权重等权因为哪路最强事先不知道。输出排序分，落地再阈值化成答、拒或再检索。
六数据集配对排序，随机0.5：
| 方法 | 平均PA | 最弱一集 |
| RINSE | 0.837 | 0.684（SQuAD 2.0） |
| Self-RAG | 0.746 | 0.644 |
| Sufficient Context API | 0.784 | 0.676 |
| UPR | 0.721 | 0.541 |
| 本地1.5B Sufficient Context | 0.540 | 0.514 |
RINSE分项：SQuAD 2.0 0.684、IIRC 0.926、NeoQA 0.773、HotpotQA 0.853、MuSiQue 0.813、fresh Wikipedia 0.973。相对GPT-6 Luna上的Sufficient Context，五集领先，成对差均值+0.053。SQuAD 2.0上Self-RAG是0.752。NeoQA上content单独0.799，span近随机0.508；读已生成答案的方法全部0.503-0.520。
真实检索中BM25与e5-base-v2各取top-5，保留一侧含全部标注支持、另一侧不含的3149对。RINSE平均0.813，Self-RAG 0.674，UPR 0.661，API前沿0.800。两侧都是5段。SQuAD 2.0上UPR为0.871，高于RINSE的0.813。
消融去掉latent到0.817，去掉span到0.799，去掉content到0.779。最好单路最弱集0.583，三路相加0.684。
单张A100中位36.5毫秒/题，吞吐17.4条/秒。p95的603毫秒主要来自118M reranker（465毫秒），1.5B一趟29.0毫秒。作为12个生成器的闸门，不足题作答率从0.636降到0.511，生成时间省13.3%，充分题作答率从0.861降到0.783。
对RAG和多轮检索，这是生成器前的本地覆盖信号：相关但不够时拒答或再搜，不必先付一次7-32B生成。分数不绑特定权重，闭源API也能用。共享检索层需要它来决定何时去源站拉新内容。
这是评测修正加渐进改进，不是新的生成范式。闸门会误伤充分题，只省13.3%生成时间。SQuAD 2.0近失配上Self-RAG更高。更贴落地的是检索后、生成前的廉价预检，以及给拒答训练一份不依赖生成器的奖励。
正文没有单独Limitations节，硬边界要从实验里抠。
成对对照一次只控一个捷径。HotpotQA两边同加20段后最低IDF覆盖降到0.510，只看证据的分类器仍有0.743。NeoQA支持段数相等的832对里，831对充分侧总段数仍更少。RINSE在受控子集上仍是本地最高，别的表面特征有没有继续泄露标签，没有一次清干净。
span在Natural Questions上训练，HotpotQA与MuSiQue仍有残余句子重叠。两边同加5-20段后平均PA从0.847降到0.804。fresh Wikipedia问题是合成的，可能继承生成模型偏差。闸门只有600条，充分题召回被削。NeoQA上span拖累等权求和。训练最多22段、评测到120，校正靠外推。主指标是排序不是端到端准确率，充分却答错、不充分却靠参数蒙对，这两种误差没直接量。