Asking for What Was Never Requested: Horizontal and Vertical Proactivity in Agents
Ido Levy, Asaf Yehudai, Segev Shlomov, Asaf Adi, Leshem Choshen
cs.AI, cs.CL
2026-09-29
按提问后续找回的证据训练8B提问器。等量花费下MuSiQue覆盖从78%升到90%，两套基准超过15倍模型，零售客服成功率从13%升到34%。
用工具的 agent 通常只处理用户说出口的那一句。把任务做完，经常还要拿用户从没提过的信息。客服场景里，顾客要改待发货靴子的尺码，报了姓名和邮编，记不得邮箱和订单号。提示过的同一模型连问十六次邮箱和订单号，靴子没改成。主动的做法是用姓名和邮编查出账户，再顺着账户找到订单，再找到对应尺码的货。
现有主动 agent 研究主要问该不该自己动手、何时动手，很少问该去追什么信息。Agentic search 要么跟着问题字面拆出来的链走，要么只拿最终答案对错当奖励，每一问追的内容既不测也不奖。评测还容易把问得更多当成问得更好。
这篇把主动性拆到内容轴上。横向主动性追当前上下文已经能点名、用户没说的信息，比如一上来查账户。纵向主动性追只有先前证据才会暴露的需求，比如账户记录里才出现的订单号。
度量靠 need graph：从 multi-hop QA 基准自带的分解里机械抽出任务所需证据，以及哪条需求要等另一条先找到才能被点名。深度是最长前置路径的长度。一次对话对照这张图就能打分，不需要模型当 judge。横向看 breadth，即推进了几条独立线索；纵向看 depth-weighted recall 和跑到的最深需求。停得对不对也从 transcript 读：证据齐了停不停，没齐还问不问。Agent 在训练和推理时都看不见这张图。
学习算法叫 Q&D，questioner and drafter。提问器每步问一句或选择停止；冻结的 drafter 把检索结果写进草稿。Drafter 冻住，是为了让状态里每一处变化都能归因到那一句问。训练时在某一步 fork 出八个候选问句，各自滚到结束，只按后果排序：先看最终有没有答对，这项只决定 6% 的 pair；再看谁更早凑齐所需证据；再看每轮补了多少证据。任务还没完成时，问排在停前面。没有 reward model，也没有 judge。
提问器是 Qwen3-8B 加 LoRA。三阶段：模仿好决策，对问句 pair 做 DPO，再加入未完成时问优于停的 stop contrast。Drafter 和最终 answerer 在各实验臂都固定为 GPT-OSS-120B，所以策略之间只差提问器。检索是 BM25，在任务放出的 20 段（2Wiki 为 10 段）里取 top-k，费用按检索次数计，一问一次。
三个 held-out 套件各 200 题。等量花费指两边取较少的提问次数再比，避免问得更多冒充问得更好。
| 套件 | 同模提示覆盖 | Q&D | 深度加权召回（提示→Q&D） |
| MuSiQue | 78.3% | 89.5% | 77.9% → 90.5% |
| StrategyQA | 78.4% | 85.5% | 51.2% → 56.6% |
| 2WikiMultiHopQA | 88.2% | 93.1% | 84.8% → 90.3% |
对提示版 GPT-OSS-120B（约 15 倍大）：MuSiQue 覆盖 84.8% 对 77.8%，StrategyQA 85.0% 对 80.7%；2Wiki 落后，88.9% 对 92.4%。链最深的套件领先最大。MuSiQue 上只给 4 次调用的 Q&D，比给 24 次的 120B 还多找回 4.1 点证据。每找回一条所需证据，训练后提问器花 11,610 token，提示版 19,354，少约 40%。
自己决定何时停、最多 8 次调用时，MuSiQue 覆盖 91.2%，同模提示 81.6%，120B 为 81.1%；提问次数 4.2 对 5.9 和 5.3。答案 token F1 几乎不动，41.1% 到 43.6%。多找回的证据还没变成可检测的答题提升。
零样本放进 τ²-bench 客服。零售成功率从 13% 和 12% 升到 34% 和 32%，每段对话少问 1.3 和 1.4 句。对 120B 的 17% 和 19%，高出 17.0 和 12.7 点，顾客追问少 1.6 和 1.8 轮。航空只比同模高约 6.5 点，对 120B 没有判定差异。
问句换成同基准其他任务的随机问，MuSiQue 覆盖掉 34.7 点。从状态里藏掉已检索证据，掉 8.4 到 8.7 点。问句更长解释不了增益：提示模型用同样多的提问 token，MuSiQue 开发集仍落后 14.9 点。手写检索流程 PAR²-RAG 在等量花费下打不过同模纯提示。Claude Opus 5 纯提示在 MuSiQue 等量花费上领先 Q&D 2.9 点。
给 agent 主动追问补了一根可测的内容轴，评测不靠 LLM-as-judge。训练信号是这一问后面找回了多少该找的证据，比最终答案稠密。8B 加 LoRA 能在深链检索上压过提示的 120B，对要控调用成本的检索 agent 是一条可跟的路线。客服迁移没有再训，说明学到的是问什么、何时停，不完全绑在 QA 模板上。
别指望拿来就涨最终答案。训练更会教问什么，不太会教何时停；证据覆盖涨了，答题 F1 没有跟着动。这是检索策略上的渐进改进，外加一套测量工具。
两个训练 seed 共用一个监督 checkpoint 和一份 pair 导出，区间只跨任务，估不出那一截的方差。没有任何 checkpoint 满足事先写好的选择规则。训练标签和主指标共用 need graph，答案只决定 6% 的训练 pair。公开检索池很小，多数前置边并不真正挡住检索，纵向结果测的是分解里的深度，不是必须先找到 A 才能搜到 B。MuSiQue 和 StrategyQA 每题只有一条线索，breadth 几乎不是独立轴。所有面向用户的数字来自模拟顾客，零售 25 题、航空 17 题。Q&D 是一轮 off-policy，没有和 on-policy RL 对比，长度控制也没在 held-out 上跑。
Figure 5 那个 held-out 例子里，四个 run 的 strict answer match 全是零：覆盖率和答对是两回事。