BRIDGE: Bilevel Retrieval-Credit-Aware Agentic Reinforcement Learning
Quan Xiao, Mingda Liu, Gaowen Liu, Katsuki Fujisawa, Tianyi Chen
cs.AI, cs.LG, math.OC
2026-09-29
检索出错会被记到策略头上。BRIDGE把检索增强RL写成双层优化，先适配检索器再训LLM，3B多跳问答比最强基线高9.6 EM。
Search-R1、VT-Search 这类检索增强的 agentic RL，更新时只碰 LLM 自己生成的 token：思考、搜索调用、最终答案。检索器返回的文档被当成环境观察，从 RL loss 里 mask 掉。检索漏了证据或塞进干扰文档，失败会被记到策略头上，检索器得不到更新。这就是 information-credit gap，归因错位。多跳问答更严重，证据散在多篇文档里，检索没铺齐，策略再学推理也补不回来。
已有工作冻住生成器只调检索，或联合训两边，都没管顺序。这篇在 VT-Search 之上做了顺序对照：先用 RAG 似然适配检索器再跑 RL，增益大于反过来；RL-then-RAG 在一般问答上还会掉到纯 RL 下面。顺序是硬约束。检索先把有用证据摆出来，LLM 才能学怎么搜、怎么用。
写成双层优化。下层：对当前策略 θ，最小化 RAG 负对数似然，找到最能撑起正确答案的检索参数 η。上层：在这个检索器上，用 exact-match 的 0/1 奖励做 GRPO，更新 LLM。检索始终优先，但会跟着策略在线改，不是调一次就冻住。
标准双层求解走二阶就要海森逆和隐式微分；走一阶就要维护两个下层状态：原问题的 η 和惩罚问题的 ηγ。检索适配时，多一套参数、优化器和检索日志，显存很疼。BRIDGE 画了 loss 地形：RAG 目标沿 θ 方向变化很大，不能把 ∇θ LRAG 当 0；上层 RL 目标沿 η 方向相当平。于是只跟踪惩罚检索器一个状态，策略更新用 ∇θ JRL(θ, ηγ)，丢掉 two-state 估计器里那两项 RAG 修正。相对 two-state，单次检索器更新峰值显存降 49.7%，耗时降 55.8%。
实现上检索器用 E5 的 query-side LoRA（rank 16），文档编码器冻住。检索器吃两路信号：检索步上按文档对正确答案的似然分配的 GRPO 信用，以及 RAG 似然本身。LLM 只吃上层 RL。检索器每隔 P 步更新一次。训练时 top-k 候选 k=40 给检索器算梯度，真正塞给 LLM 的只有 top-3。
一组 rollout 全错时，GRPO 的 advantage 全是 0，结果奖励帮不了检索器。RAG 似然还能靠「这篇文档让当前模型写出正确答案的概率」区分文档。中途第 100 步抽查，85.26% 的检索步 advantage 为 0；这些步上纯检索概率几乎均匀，掺上答案似然后，最被看好的文档平均分到 88% 的信用。3B 增益大于 7B，和这套机制对得上：弱模型成功轨迹更稀，文档级似然更值钱。
开放域只在 NQ 和 HotpotQA 上训，169,615 条，检索语料是 2018 Wikipedia dump。七个 benchmark 里这两个算域内，另外五个算域外。backbone 是 Qwen2.5-3B/7B，检索器 E5。
| 方法 | 多跳平均 EM | 七项平均 EM |
| Search-R1（3B） | 24.9 | 33.6 |
| VT-Search（3B） | 21.5 | 34.4 |
| BRIDGE（3B） | 34.5 | 41.5 |
| Agentic-R（7B） | 39.8 | 45.0 |
| VT-Search（7B） | 39.0 | 45.9 |
| BRIDGE（7B） | 43.2 | 48.2 |
3B 多跳比最强基线 Search-R1 高 9.6 EM，七项平均比 VT-Search 高 7.1。7B 多跳比 Agentic-R 高 3.4，七项平均比 VT-Search 高 2.3。PopQA 两边规模都低于 VT-Search（3B 为 44.7 对 48.1）。3B 的 BRIDGE 在七项里有六项超过 GPT-4o、GPT-5.6 Luna、Qwen3-235B-A22B 的无检索直出。对照不公平，但小模型把检索和策略对齐之后，复杂题可以打过裸跑的大模型。
消融用 Qwen2.5-3B-base、group size 8：RAG-then-RL 多跳 23.8，在线 Decoupled-RL 22.5，Decoupled-RAG 23.0，BRIDGE 31.3。在线联合但不管层次，超不过先检索后策略；双层把层次保住再改成在线，才拉开差距。
4×A100、250 step：VT-Search G=8 用 38.4 小时，多跳 21.7；G=16 用 82.4 小时，多跳只到 23.3。BRIDGE G=8 用 79.4 小时到 31.3。多出来的时间砸在检索器上，比砸在更多 rollout 上划算。跟 Agentic-R 比（3B-Instruct，8×H200），BRIDGE 22.5 小时对 43.8 小时，七项全赢。
医学五套 MIRAGE，Qwen2.5-7B-base，训练数据仍是 NQ+HotpotQA，语料换成 Wikipedia、PubMed 和教材。宏观平均推理质量 / 答案准确率：BRIDGE 72.27 / 70.72，VT-Search 69.97 / 69.13，MedRAG 69.19 / 68.61。推理质量由 GPT-5.6 Luna 打 0 到 4 分再乘 25。
搜索 agent 如果只 RL 策略、检索器当黑盒，失败会被错误归因。这篇给出一个能跑的修正：检索器优先、两边在线共适应，query-side LoRA 把显存压下来。便宜主要发生在多跳和小模型。PopQA、TriviaQA 这类单跳实体题几乎没占到。对已经在跑 Search-R1 或 VT-Search 的栈，这是渐进改动：多一个检索 LoRA 和一套 RAG 似然，不是换范式。
医学结果是零样本迁移，平均分领先。MedRAG 用了生物医学检索器 MedCPT，单套对比不能直接当成同条件胜利。
正文没有独立的 Limitations 节。附录收敛保证是理想化版本：精确梯度、直接对 η 下降，明确不覆盖实现里的 LoRA 和经验 surrogate。
训练最多 2 轮搜索，多跳偏紧。文档编码器全程冻结。开放域检索仍是 2018 Wikipedia，时效没测。BRIDGE 墙钟大约是同设置 VT-Search 的两倍；省的是相对 two-state 双层估计器的显存，不是相对纯 RL。
PopQA 没赢 VT-Search，检索适配对流行实体题帮助有限。医学推理分是 LLM judge，打分时去掉了检索段落，和「检索变好」只是间接关系。丢掉 RAG 修正项靠的是「RL 沿 η 很平」的地形观察，换任务会不会还平，没有验证。