RINSE 论文:生成前先判断证据是否充分,RAG 相关性≠可作答
_reachsumit · x · 2026-09-30
- RAG 检索到的段落常常「点对了实体却没给出答案所需事实」:实验中 12 个生成器即使被要求弃答,仍对 40.0–99.3% 的证据不足问题强行作答。
- 论文指出构造「证据不足」测试集的陷阱:删相关证据或配无关问题会通过词面重叠、证据位置等泄露标签,于是用替换、删除、问题交换构造控制表面特征的成对 benchmark。
- 提出 RINSE 轻量本地打分器,在生成前仅凭问题与证据判断充分性,融合三个信号:问题各部分是否被覆盖、是否有段落能给出答案、小模型联读段落后的判断。
- 在六个数据集上,RINSE 将充分证据排在不足证据之前,得分 0.837(随机约为 0.5),无需完整生成调用即可拦截无据作答。
「研究」频道最新
- Reddit 讨论:为何还没有 folding@home 式的众包开放训练数据集 — a300a300 · 2026-10-24
- AI 复现论文失败主因不是模型:多数错误源自论文本身 — RexDouglass · 2026-10-24
- 实测:AI agent 能复现大部分已发表研究,系数符号正确率约九成 — RexDouglass · 2026-10-24
- Lafa 流语言模型达 8B:吞吐量达自回归模型 2.54 倍 — LucaAmb · 2026-10-24
- 长文科普:DFT 如何把任意有限数列精确表示为复振荡组合 — techNmak · 2026-10-24
- 复旦团队发布 F2G-Pose:单张 RGB-D 图像一次推理完成 6D 姿态估计 — joemeno · 2026-10-24