RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
Yan Yu, Zhengxi Lu, Yizhou Liu, Yichen Pan, Aozhe Wang, Qipeng Chen, Hua Yang, Wenqi Zhang, Weiming Lu, Qianglong Chen, Yongliang Shen
cs.CL, cs.AI
2026-09-18
RetireOPD 先用环境奖励训出技能教师，再对学生做 GRPO 加在线蒸馏，对齐停滞且成功率够了就撤教师。ALFWorld 比 GRPO 高 14.1 到 18.8 分，并反超教师。
多轮智能体强化学习每条轨迹只有一个标量奖励,中间每一步都没监督。常见补法是 on-policy distillation:让一份带特权技能的教师,在学生自己走出的前缀上给 token 级反馈,学生推理时不再看技能。
这套配方默认两件事:教师因为看见技能就一定更强;一直对齐教师都有好处。在 ALFWorld 和 WebShop 上两件事都不成立。共享参数的技能分支如果不先为用技能而训练,7B 模型提示技能也只有 23.4% 成功率。蒸馏加进 GRPO 能消掉纯 RL 的慢热和纯蒸馏的低天花板,但师生差距先缩小再拉大:技能内化之后,奖励梯度开始和学生模仿对着干。固定步数退火或两段式切换,会在有的任务上撤太早、有的任务上撤太晚,冲突点从第 50 步到第 90 步都出现过。
教师和学生同结构同初始化,教师额外看到 SkillRL 的技能库,用关键词匹配检索。三步:
设计意图很具体:教师必须先被训练才会教;教完就走,别把学生钉在教师天花板上。
Qwen2.5 1.5B/3B/7B 上,RetireOPD 相对 GRPO 的 ALFWorld 成功率分别是 89.8% 对 72.8%、93.8% 对 75.0%、95.3% 对 81.2%,即 +17.0 / +18.8 / +14.1。WebShop 准确率 75.8% 对 56.8%、77.3% 对 63.3%、84.4% 对 72.6%,即 +19.0 / +14.0 / +11.8。三个尺度上都超过对应的技能教师 Skill-GRPO(ALFWorld 81.2% / 79.7% / 90.6%)。
| 设定 | ALFWorld | 对照 GRPO |
| Qwen2.5-3B RetireOPD | 93.8% | 75.0% |
| 同模型 GRPO+OPD 不撤教师 | 82.8% | 75.0% |
| 同模型未训教师的 OPSD | 28.1% | 75.0% |
3B 上撤教师约在第 60 步,当时成功率 76.6%,接着纯 GRPO 拉到 93.8%。继续联合优化会平台化;改成只蒸馏会把差距压回去,任务分不涨甚至掉。线性退火早段涨得快,后期就顶死。消融里两条退休条件各删一条都是 89.0%,都不撤是 82.8%。γ 在 0.80–0.96、δ 在 −0.10–0.04 时,退休步数只在默认附近 ±5 步。
给 agent 做特权蒸馏的人一个能落地的开关:教师要先为技能付环境奖励,监督期要看训练信号而不是日历。学生推理时不带技能上下文,却能超过带技能的教师,说明技能被写进了参数,后续 RL 还挖出了教师不会走的动作。这是渐进的训练流程改进,不是新的环境或新的骨干。
实验停在 ALFWorld 和 WebShop 两个文本交互环境,Qwen2.5 1.5B–7B。技能来自现成 SkillBank,检索是关键词匹配,换一套技能或更乱的检索未必还能读出同一退休点。ρ 和 η 的阈值虽不敏感,仍是超参。蒸馏用采样 token 近似反向 KL,不是全词表。论文没有单独的局限节,上述边界来自设定本身:没测 GUI、代码或更大模型和跨任务迁移。