RLSD改进序列级奖励训练

burny_tech · x · 2026-07-11

RLSD（Self-Distilled RLVR）讨论了如何改进 RLVR / GRPO 这类序列级奖励训练：

现有 GRPO 会把一次 rollout 的同一个序列级奖励平均分配给长链条中的所有 token，导致关键推理和填充叙述拿到相同 credit。
文中指出，之前设想用“带特权参考的 on-policy self-distillation”来解决这个问题，但论文证明这会存在不可消除的信息鸿沟：学生模型追逐的是一个能看到自己看不到信息的老师，训练若干步后验证效果会崩塌。
RLSD 的做法是把两件事拆开：环境奖励决定每个 token 更新的方向，自蒸馏信号只在轨迹内调节更新幅度，并像 PPO 一样做 clip，把它限制在 trust region 内。
这可以作为 GRPO 的直接替代方案：不需要辅助损失、也不需要单独 teacher，只多一次 forward pass。
在 Qwen3-VL-8B 上，它被报告可在 5 个多模态推理 benchmark 上取得改进。

「多模态」频道最新