IGSD 用环境验证的后见自蒸馏训练搜索智能体

_reachsumit · x · 2026-09-29

论文提出 IGSD（Information-Gain-Gated Self-Distillation），一种无需外部教师、对搜索智能体进行 on-policy 自蒸馏的训练方法。
核心思路：利用带特权后见信息的策略为自身的普通 rollout 提供步骤级指导，但现有方法直接蒸馏或仅用模型内部打分过滤，无法验证查询的实际检索效果。
IGSD 把每个查询 token 视为微动作，将教师提议的查询与学生采样的查询补全后在同一失败状态、同一检索器下实际执行，用共享反事实控制扣除答案似然偏移，二者的执行信息增益即检索文档的相对效用对比。
该对比作为 positive-only 软权重用于候选对蒸馏，GRPO 目标不变，验证只发生在训练阶段。
结果：在 7 个单跳/多跳 QA 基准上，3B 和 7B 策略的 macro-average EM 分别达 42.8% 和 47.0%。

「编程与Agent」频道最新