RLSD改进序列级奖励训练
burny_tech · x · 2026-07-11
RLSD（Self-Distilled RLVR）讨论了如何改进 RLVR / GRPO 这类序列级奖励训练：
- 现有 GRPO 会把一次 rollout 的同一个序列级奖励平均分配给长链条中的所有 token，导致关键推理和填充叙述拿到相同 credit。
- 文中指出，之前设想用“带特权参考的 on-policy self-distillation”来解决这个问题，但论文证明这会存在不可消除的信息鸿沟：学生模型追逐的是一个能看到自己看不到信息的老师，训练若干步后验证效果会崩塌。
- RLSD 的做法是把两件事拆开：环境奖励决定每个 token 更新的方向，自蒸馏信号只在轨迹内调节更新幅度，并像 PPO 一样做 clip，把它限制在 trust region 内。
- 这可以作为 GRPO 的直接替代方案：不需要辅助损失、也不需要单独 teacher，只多一次 forward pass。
- 在 Qwen3-VL-8B 上，它被报告可在 5 个多模态推理 benchmark 上取得改进。
「多模态」频道最新
- LichtFeld Studio v0.5.4.3：社区贡献的 SteadySplats 等新功能上线 — janusch_patas · 2026-10-26
- 一次 prompt 直出 2-3 分钟旁白短片,作者实测 Antigravity 生成效果 — AI_Andrew · 2026-10-26
- 用户用 Gemini 全家桶做万帧动画短片：写、画、配音、配乐一条龙 — AI_Andrew · 2026-10-26
- FLUX.3 Klein 蒸馏到 4-8 步出图，CFG 直接烘进模型 — Fit-Structure-6489 · 2026-10-26
- ostris 预训练新 VAE「Primal VAE」:单通道潜空间实现等效 8 倍压缩 — ostrisai · 2026-10-26
- 社区为 Krea 2 Turbo 打造艺术风 checkpoint「Narrative Drift」 — MoonbearAIArt · 2026-10-26