Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation
Fangzheng Tian, Debasis Ganguly, Craig Macdonald
cs.IR
2026-09-15
格拉斯哥大学在Search-R1与R1-Searcher轨迹上逐轮逼出中间答案,发现决定性迭代稀疏;监督模型预测质量的Pearson r达0.438,早停约少11%轮次并保住约98%质量。
Agentic RAG让模型在推理中反复检索。现有训练几乎只看最终对错和格式,中间那一轮检索到底把答案推上去了、拉下去了、还是空转,看不见。轨迹往往会在质量已经平台化之后继续跑,后面几轮既费计算,有时还把答案带坏。
格拉斯哥大学的做法是:每一轮检索-推理结束后,强行插入答案触发符,贪心解码出一个中间答案,用相对金标的F1当作部分答案质量P,相邻两轮的差当作部分效用U。
轨迹记成问题、初始推理、以及每轮的查询、检索上下文、推理。探测不改主轨迹,只在断点上要一个当前最可能的答案。i=0时这个答案完全来自参数知识。
预测分两件事:估P,估U。信号来自三处。轮内看当前查询、上下文、推理和答案置信;轮间看相邻检索列表与推理的变化;问句对齐看当前轮有没有漂离开原问题。无监督侧用NQC、语义集中度、RBO、SBERT余弦;监督侧把结构化文本送进all-MiniLM-L6-v2的cross-encoder回归;可选再用探测答案的长度归一化生成概率。这些分数再拼成最近w轮窗口,喂给两层MLP(16和8个隐单元),w从1到5。
早停把预测的P和U切成四个状态。高质量且高效用立刻停;高质量低效用视为平台;低质量高效用继续;若曾经到过高质量再掉进双低,就回滚到最早的高质量答案,迭代成本仍计到触发回滚的那一轮。
两条管线都基于Qwen2.5-7B:Search-R1在HotpotQA与NQ上做单阶段结果RL,R1-Searcher在HotpotQA与2Wiki上做两阶段RL。检索是2018维基上的E5 top-3。开发集规模:HotpotQA 7405题,2Wiki 12576,MuSiQue 2417。
Search-R1在HotpotQA上最终F1为0.549,相对检索前探测答案的ΔF1为0.265,平均每轮效用0.097,平均长度2.730轮;2Wiki上F1 0.429、长度3.463。R1-Searcher更短更猛:HotpotQA F1 0.529、ΔF1 0.408、长度2.311。两条管线上U的分布都尖在零附近,多数轮几乎不改F1,少数轮大起大落。正效用轨迹往往前几轮猛涨然后平台甚至微降;负效用轨迹早期就掉,后面很难救回来。
| 管线 | 最佳质量预测 r / τ | 最佳效用预测 r / τ |
| Search-R1 | 0.438 / 0.345 | 0.321 / 0.208 |
| R1-Searcher | 0.401 / 0.320 | 0.321 / 0.250 |
质量比效用更好预测,因为U是差分。监督项贡献最大;无监督信号在更大窗口里才有用;探测置信有帮助,但推理时要额外逼答案。Search-R1上,θP=0.3、θU=0.2时平均轮次从自然停止的3.21降到2.86,少10.89%,保住97.60%的答案质量;θU提到0.3则保住98.49%。固定轮次上限也能少跑,但质量掉得更陡。
若你在部署Search-R1这类「自己决定何时再搜」的模型,默认停止策略和真实答案质量并不同步。这篇把中间状态做成可测的P和U,并证明用轨迹信号做启发式早停,能在不大伤F1的前提下少约一成检索轮。Pearson r约0.44谈不上精准控制器,够当一个便宜的过程开关。
只覆盖单轨迹、无自我反思、无文档精炼的基础agentic RAG。质量用短答案F1,长文本或解释性答案上的细变化会被抹平。早停是阈值启发式,不是学出来的策略。监督回归在三个数据集的训练集合上拟合,换域要重训。探测本身有生成开销,线上若关掉探测、只靠无监督加监督,质量预测会弱一截。论文也没把这套预测接到更复杂的路径选择或多智能体检索上。