NUS联合可灵AI提出DiffusionART,稳定扩散模型奖励引导训练

jiqizhixin · x · 2026-11-14

新加坡国立大学、可灵 AI 与香港科技大学的研究者发布 arXiv 预印本 DiffusionART,解决扩散模型做强化学习时训练不稳定的问题。

瓶颈:现有基于回归的目标会把有用的奖励引导与不希望出现的一致性力混在一起,用指数滑动平均来稳定往往需要针对具体任务调参。

机制:对同一 prompt 的多次生成结果先聚合奖励,再引导真实的去噪状态;在两个独立 minibatch 上做两次更新,随模型漂移施加恢复力,并用信任域掩码限制过度移动。训练只使用奖励数值,无需对奖励模型求梯度。

效果:在 HunyuanVideo-13B 上,视觉与运动质量奖励等权重的情况下,训练稳定性与生成质量均有提升。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →