视频 RL 中 KL 惩罚失灵：FlowGRPO 稳定但画面仍有噪声

gowthami_s · x · 2026-10-15

作者解读 DDRL(diffusion deep RL)论文的线程第 2 节：即使加大 KL 惩罚，FlowGRPO 的 KL 值会稳定下来，但生成视频仍带噪点纹理。论文的假设是 KL 惩罚是在当前策略访问的状态上比较模型，一旦策略漂移到离分布区域，冻结的参考模型本身也不可靠——于是 KL 看似稳定、生成质量却明显更差。作者认为在 RL 过程中持续用去噪损失训练数据的 DDRL 正则化思路是抑制 reward hacking 的重要想法，自己实测能让 loss landscape 更稳定。