何时搜、去哪搜、何时停:六能力框架拆解 LLM 搜索后训练

From Search to Decision: How Post-Training Shapes Information-Seeking Capabilities in Large Language Models

Haohang Huang, Xuan Lu, Mingjin Kuai, Yuxuan Zhang, Wei Ji, Haiyang Zhang

cs.IR

2026-11-10

综述把 LLM 信息获取拆成六项能力,沿信号、优化器、更新位置、信用分配四维盘点后训练方法,标出各项证据边界。

这篇在解决什么

检索增强正在从「固定管线」变成「模型自己做决定」:要不要搜、搜什么、去哪搜、证据可不可信、什么时候停。Search-R1、CoBRA、QREF 这些后训练方法各自改其中一环,但任务设定、监督信号、评测口径互不兼容,论文之间很难横向比较。已有综述按系统架构、检索流程或优化技术来组织,回答的是「系统长什么样」;这篇换了坐标轴,按「模型要学会做哪些决定」来整理领域。西交利物浦、上海交大、南京大学和 UBC 的团队把现有工作拆成六项能力,逐项核对用什么信号训练、改了哪个组件、证据到了什么程度。

方法

框架分两层。第一层是六项能力,按「管辖哪个决定」划分,不按管线阶段划分:

第二层是四个训练维度:学习信号(演示数据、outcome reward、行为专用奖励、偏好)、优化器(SFT、DPO、RL、混合、教师引导)、更新位置(专用组件还是整体策略,改参数还是外部记忆)、信用分配(最终奖励怎么回传到中间步)。

这个划分的价值在对照。Search-R1 拿最终答案对错联合优化搜索与推理,CoBRA 拿「带工具/不带工具」的奖励差专攻「要不要检索」这一个决定;TRACE 用冻结参考模型估计各步状态价值的变化,CW-GRPO 按裁判给出的各轮贡献给优势加权。信号不同,学到的决定就不同,只看下游任务分看不出这些差别。

结果

综述不跑统一实验,没有可引用的新基准数字。它做的是把散落各论文的证据按能力归位:六项能力都见到了可测量的行为改进,但证据边界差异很大。

能力已有证据尚未验证的边界
认知与检索效用路由准确率与成本校准的事前效用预测
信息需求表述改写带来的检索增益与覆盖语义意图保持
信息空间探索多工具搜索的召回与多样性必要证据的发现;工具固定
证据评估支持性与充分性指标来源可靠性判断
证据整合grounded QA 与幻觉指标因果层面的证据依赖
自适应搜索控制迭代与预算搜索的准确率、效率对反馈敏感的下一步动作

两个跨论文对照值得单独记。Zhao et al. 在受控训练条件下发现,语料覆盖度会大幅改变性能和方法排名,朴素的 outcome reward 面对更精细的信用分配仍然有竞争力。泛化方面,AnySearch 在没见过的预算约束下保持改进,CoBRA 通过了 OOD 工具使用任务,QREF 换 agent 骨干仍有效,TRACE 从封闭检索迁到开放网页基准;但 Yuan et al. 显示,针对特定检索器学出的查询策略换一个后端效果明显下降。

为什么重要

对做搜索 agent 和 deep research 产品的人,这是一张选型地图:想改哪个决定,对应哪类信号、动哪个组件、用什么指标验证,都能对上号。三条评估原则(能力专用指标补足端到端分数、受控干预隔离目标决定、显式声明泛化设置)可以直接拿去当内部评测 checklist。对研究者,三个开放问题就是现成方向:检索前估计效用、多项能力在冲突信息下的协调学习、跨检索环境自适应。

要有预期:这是综述,没有新方法。价值在组织方式,外加一个不太好听的发现,精细信用分配的收益在受控比较里并不稳。

局限与存疑

论文自己承认证据范围参差:来源可靠性判断、因果层面的证据依赖、语义意图保持这些边界都还没人碰,探索类评测几乎都固定了工具集。能力之间也有重叠,文中用「interrelated」带过,探索与搜索控制的边界实际很模糊。综述层面还有固有局限:跨论文比较依赖各自汇报的数字,训练语料和 rollout 协议并不一致,它重点引用的受控对照(Zhao et al.)也只覆盖少数设置。提出的评估协议是建议性的,没有在一个案例上完整示范。

术语

原文与代码

社区讨论

相关论文

全部论文解读