Joint Constraint Aggregation for Qualifier-Sensitive Retrieval-Augmented QA
Jennifer Hsia, Zachary C. Lipton, Aarti Singh
cs.CL, cs.AI, cs.IR
2026-10-20
JCA 用共享约束逐候选核对证据再比较。九组硬切片都最高;Qwen3 不开思考时比 CoT 高 7.1 到 20.6 个点,打开思考后领先不到 3 个点。
检索增强问答（RAG）会在正确答案已经在证据里时选错。旁边有一个近似答案，角色或主题对得上，时间、版本、辖区这类限定语对不上。它被提到得更勤，读起来像支持最充分的选项。
百老汇原版《Wicked》谁演 Glinda，检索页更常出现电影版 Ariana Grande，原版 Kristin Chenoweth 少得多。基线选了 Grande，Broadway 被丢掉。评的是候选里已经含有正确答案时，模型选哪一个。
自然检索里，近似答案相对金标被提到得越多，基线越差。问题、候选和中性证据不动，只把支持拨向近似答案，Qwen3-30B 上 15 组端点全部上升，选中倍数从 1.4 到 9.7。单个候选有没有证据，决定不了这一步。
JCA（Joint Constraint Aggregation）用同一组问题约束去量每个候选，再把量完的结果放在一起比。
一段话可以支持某个人，却没证明他回答的是眼前这个问题。NLI 基线把「答案就是该候选」当假设，用蕴含概率减去矛盾概率打分，候选之间不共享约束。Compare 只在提示里要求比较，中间没有报告。
Constraint Tally 留下第二步判决，按满足 +1、未陈述 0、违反 −1 计分。Constrained NLI 用同一套约束，仍对每个候选单独打分。两者在各设定上都低于完整 JCA。三步塞进一次生成，Qwen3-30B 和 Llama4-Scout 的全集大约低 4 到 10 个点，硬切片低 10 到 18 个点。第二步一次查完所有候选，每个骨干的 2018 道全集题上和分步版相差都不到 1 个点。
三段都用 Brave Search 的 top-20 正文。AmbigQA 的干扰项来自人工标注的邻近解释。AmbigQA-Extracted 由 Qwen3-30B 从段落抽候选，看不到金标，只留金标被抽回且还有其他候选的题。SituatedQA 时间子集里，金标属于目标时间，其他时间的正确答案当干扰项。骨干是 4-bit 的 Llama4-Scout-17B、Qwen3-30B、Gemma3-27B。硬切片是 mention gap 小于 0，有干扰项在 20 条里的提及比例高于金标。题量 796/294、548/198、674/238。AmbigQA 与 SituatedQA 另要求金标和至少一个干扰项都至少出现在 10% 的段落里。
Llama4-Scout 上 JCA 的三套全集都最高。Direct、Compare、NLI 都低于 CoT（先推理再选），JCA 再高出全集 4.0 到 11.3 个点、硬切片 6.1 到 15.5 个点。表 1 只有 SituatedQA 硬切片对 Constrained NLI 的 95% 配对 bootstrap 区间跨过 0，这一格 JCA 仍更高。
| 设定 | CoT 全集 / 硬切片 | JCA 全集 / 硬切片 |
| AmbigQA | 87.4 / 82.3 | 93.3 / 92.5 |
| AmbigQA-Extracted | 89.6 / 85.9 | 93.6 / 91.9 |
| SituatedQA | 74.2 / 64.3 | 85.5 / 79.8 |
九组数据集与骨干的硬切片，JCA 都排第一。最大一格是 Qwen3-30B 时间题，81.1 对最强主基线 60.9。Gemma3-27B 同一格是 63.4 对 46.6。自然曲线上基线随 gap 变负下降，JCA 更平。24 组斜率里 20 组不显著，抗偏移排不出名次。
第三步主要帮判决打平或排错的题。Llama4 全集上，只用判决标签做联合聚合，比计分高 3.8 个点（两个 AmbigQA）和 9.3 个点（SituatedQA）。理由加回去，前两套再高 3 到 4 个点，时间题多 1.3 个点且不显著。判决已经倒向金标时，完整 JCA 比计分低 0.5 到 3.2 个点。打平题上增益都超过 30 个点，AmbigQA 为 +35.5。干扰项排在金标前时，增益为 26.2 到 31.4 个点。
Qwen3-30B 不开思考，分步 JCA 比 CoT 高 7.1 到 20.6 个点。两边打开 Thinking-2507，差距变成 +1.0、+1.0、+2.9，都不显著。Extracted 上思考版 JCA 为 91.4，低于指令版 95.5，CoT 从 86.9 升到 90.4。
召回固定之后，选择仍跟着提及次数走。近似答案的证据可以是真的，答的是邻近那一问。写长思维链，或提示里加上比较，盖不住这个次数。
候选已在手、要在几个都有证据的答案里拍板，这是它的用法：带时间的事实，版本或角色不同的实体，歧义消掉后的最后一跳。金标不在集合里，流程无从开始。合并检查在 2.5 个点的预设界限内不劣于分步版；Qwen3-30B 上检查加作答的输入减少 55% 和 49%。省上下文用合并，压延迟用并行。渐进改动，赚头主要在指令模型，也主要在判决分不出高低的题。
金标得先在候选里。抽不回的题被丢掉，召回缺口不动。
硬切片只数别名出现了几次，用来诊断，不能当成线上频率。GPT-5.5 把判成共同正确的干扰项整题删掉，一部分分得开的样本会一起走。只在模型窗口内重算 gap，成员会变。
干预证明的是相对支持会改变选择。第三步不看原文，聚合时还能调用参数里的知识，这块增益没有和证据比较拆开。材料是一次搜索快照，公开链接、标题、摘要和提及统计，没有正文，以后再抓可能对不上。更大的候选集，以及其他推理模型还有没有领先，没有测。