PR-OPD 用隐层自蒸馏做 Agent 强化学习,WebShop 准确率最高提升 14 分
Muyang Li · hf · 2026-10-14
佛罗里达大学等机构的论文提出 PR-OPD(Privileged Representation On-policy Self-Distillation),改进 LLM Agent 的强化学习训练。
两个关键发现
- Invisible Advantage:在上下文里给一个 skill 能把 WebShop 成功率从 42.2% 提到 56.2%,但只有不到 1/4 的采样 token 概率发生变化——通过 token 概率做自蒸馏的通道效率很低。
- Much to Align:同一 skill 却改变了超过 80% 的 response token 的隐层状态,且线性探针能追溯到具体 skill。
方法:GRPO 热启动后,策略为每条轨迹写一个 hindsight skill,以带 skill 的自身作为 stop-gradient 教师,在每一层对齐投影后的隐层状态,与奖励目标共同训练;无需外部 skill 库、独立教师模型或额外推理开销。
结果:在 ALFWorld 与 WebShop、两个骨干模型上全部取得最优,较 GRPO 最高提升 ALFWorld 成功 4.7 分、WebShop 准确率 14.0 分。代码已开源。
「研究」频道最新
- Lampinen 梳理自证推理源头：STaR 如何让模型靠自筛正确答案变强 — AndrewLampinen · 2026-10-14
- 让模型用 ICL 自写训练数据做增强，可提升微调泛化能力 — AndrewLampinen · 2026-10-14
- 新研究：合成数据持续累积时，「模型崩溃」并不会发生 — AndrewLampinen · 2026-10-14
- 数据受限预训练实证：合成数据降低真实分布损失，可省 1.8 倍数据 — AndrewLampinen · 2026-10-14
- Modal 用异构加速器做异步 RL，训练成本更低且收敛稳定 — charles_irl · 2026-10-14
- Google Fellow John Platt：AI 航线优化让飞机凝结尾减少 62% — ziv_ravid · 2026-10-14