DDRL:RL 训练中保留扩散损失,治好视频生成模型的 reward hacking
gowthami_s · x · 2026-10-15
gowthamis 推荐 arXiv 论文《Data-regularized Reinforcement Learning for Diffusion Models at Scale》(Haotian Ye、James Zou、Stefano Ermon 等,Ming-Yu Liu 参与)。核心思想:
- 现有 RL 对齐算法易 reward hacking:画质退化、过度风格化、多样性下降,根源在于正则化不可靠
- DDRL 用前向 KL 散度把策略锚定在 off-policy 数据分布上,把奖励最大化与真实/合成样本的常规扩散损失结合——「RL 的同时继续用数据训练」
- 理论上实现 RL 与标准扩散训练的稳健无偏融合
- 超百万 GPU 小时实验 + 上万次双盲人类评测:高分辨率视频生成上奖励显著提升,同时缓解 baseline 的 reward hacking,人类偏好最高
- 作者自述在读到论文前就独立用过类似做法,确实能稳定 loss landscape
对比图显示 DanceGRPO/FlowGRPO 倾向用过饱和、静态化画面骗奖励,DDRL 生成则保持提示词遵循与真实感。
所属事件:DDRL：保留扩散损失治好视频 RL 微调的 reward hacking(5 条相关)→
「多模态」频道最新
- Midjourney sref 风格码分享:蜡笔质感「墨镜抽烟猫」系列 — sergeantsref · 2026-10-23
- 「Charming naive folk art painting」Midjourney 提示词实测出片 — AndyMasley · 2026-10-23
- AI 生成梗图：芭比淡定喝饮料背后是骚乱火海 — McDonaghMatthew · 2026-10-23
- Meta 案例解析:AI 时尚应用 Alta 如何用 SAM 3 数字化衣橱 — nikhilaravi · 2026-10-23
- 不用达芬奇和 Premiere：用 Codex/Claude Code 完成视频剪辑 — MatthewBerman · 2026-10-23
- Pinokio 作者分享 CozyClay 完整视频教程，连作者都称有新收获 — cocktailpeanut · 2026-10-23