RLSD改进序列级奖励训练
burny_tech · x · 2026-07-11
RLSD（Self-Distilled RLVR）讨论了如何改进 **RLVR / GRPO** 这类序列级奖励训练： - 现有 GRPO 会把一次 rollout 的同一个序列级奖励平均分配给长链条中的所有 token，导致关键推理和填充叙述拿到相同 credit。 - 文中指出，之前设想用“带特权参考的 on-policy self-distillation”来解决这个问题，但论文证明这会存在**不可消除的信息鸿沟**：学生模型追逐的是一个能看到自己看不到信息的老师，训练若干步后验证效果会崩塌。 - RLSD 的做法是把两件事拆开：环境奖励决定每个 token 更新的方向，自蒸馏信号只在轨迹内调节更新幅度，并像 PPO 一样做 clip，把它限制在 trust region 内。 - 这可以作为 GRPO 的**直接替代方案**：不需要辅助损失、也不需要单独 teacher，只多一次 forward pass。 - 在 **Qwen3-VL-8B** 上，它被报告可在 5 个多模态推理 benchmark 上取得改进。