DDRL：保留扩散损失治好视频 RL 微调的 reward hacking
Twitter 用户 gowthamis 以多条连续帖解读 arXiv 论文《Data-regularized Reinforcement Learning for Diffusion Models at Scale》(作者 Haotian Ye、James Zou、Stefa 等)。论文针对视频扩散模型 RL 微调中的 reward hacking 现象提出 DDRL 方案：在 RL 训练中保留扩散(去噪)损失作为数据正则，实验显示该方法在人类偏好上显著优于纯 RL 基线，且消融证明可跳过独立 SFT 阶段，值得做大规模扩散模型 RL 微调的团队关注。
已确认
- 核心问题：FlowGRPO 等方法中即使加大 KL 惩罚，KL 值会稳定，但生成视频仍带噪点纹理；论文假设 KL 惩罚只在当前策略访问的状态上比较模型，策略漂移到远离参考分布的区域后约束失效
- DDRL 方案：RL 训练中保留扩散(去噪)损失，以此治理 reward hacking
- 实测设置：基于 Cosmos2.5 pre-RL checkpoint 做 full finetune(2B/14B 两种规模)，93 帧 720p，1,044 条测试 prompt
- 2B 文生视频上，DDRL 的奖励更低，却在人类偏好上高出 10.5 个百分点，涉及 VideoAli… 等指标
- 2B 文生图上也有相应实验结果
- 消融实验：去掉 2 万步的独立 SFT 阶段、直接从预训练 checkpoint 跑 DDRL，使用同一数据集，奖励和 diffusion loss 与「SFT→DDRL」流程相当——因 DDRL 本身已含监督去噪损失，可跳过 SFT，数据效率大增
为什么重要
- 揭示了 KL 惩罚在大规模扩散模型 RL 微调中的失效机理，解释了「指标稳定但画质劣化」的常见现象
- 提供了简单有效的正则手段(保留扩散损失)，并简化了训练流程(省去独立 SFT 阶段)，对视频/图像生成模型的 RL 对齐有直接实用价值
2026-10-15 ~ 2026-10-15 · 5 条相关
一手来源
- DDRL:RL 训练中保留扩散损失,治好视频生成模型的 reward hacking — gowthami_s ·
- DDRL 视频模型奖励更低却赢人类偏好 10.5 个百分点 — gowthami_s ·
- DDRL 论文消融:可跳过 SFT 直接从预训练做 RL,数据效率大增 — gowthami_s ·
- 【源头】DDRL:RL 训练中保留扩散损失,治好视频生成模型的 reward hacking — gowthami_s · 2026-10-15
- 视频 RL 中 KL 惩罚失灵：FlowGRPO 稳定但画面仍有噪声 — gowthami_s · 2026-10-15
- 【源头】DDRL 视频模型奖励更低却赢人类偏好 10.5 个百分点 — gowthami_s · 2026-10-15
- 【源头】DDRL 论文消融:可跳过 SFT 直接从预训练做 RL,数据效率大增 — gowthami_s · 2026-10-15
- DDRL 消融：跳过 SFT 直接从预训练做 RL 也能行 — gowthami_s · 2026-10-15