DiffusionART 训练视频模型省 12 倍 GPU 时,奖励还高出 53%

KlingTeam · hf · 2026-10-12

快手 Kling 团队发布 DiffusionART,一种面向扩散模型的在线强化学习方法,解决现有 RL 微调的效率与稳定性难题。

• 问题诊断:反向过程方法(Flow-GRPO)信用分配差、效率低;前向过程方法(DiffusionNFT)高效但依赖需精心调参的 EMA 离策略训练。作者发现 NFT 目标中隐藏一个前向-反向一致性力,正负联合训练只能部分抵消它,而 EMA 的稳定作用来自「修复」而非离策略 rollout。
• 方法:将每个 prompt 的奖励聚合为共享的奖励改进方向,从构造上消除一致性力;再加一个 trust-region 掩码的第二次更新做漂移自适应修复,无需调 EMA。不需要可微奖励模型,支持成对奖励模型(DiffusionART-Pairwise),每 prompt 所需样本更少。
• 效果:在 HunyuanVideo-13B 上,以视觉与运动质量等权奖励训练,达到 DiffusionNFT 和 Flow-GRPO-Fast 后期平均奖励水平分别只需 1/12.02 和 1/11.72 的 GPU 时,且平均训练奖励高出 28.8% 和 53.0%。

原文链接 →

「多模态」频道最新

• Midjourney 胶片感 sref 风格码 3534013297 走红,提示词公开 — umesh_ai · 2026-10-12
• 用户用 Kling 4.0 Flash 生成视频,猜完整版下周发布 — Kyrannio · 2026-10-12
• Lux in Music 开源项目上线,演示 YuE2 音乐模型能力 — TheMoonMidas · 2026-10-12
• 「QT Your Eye」接龙:X 千层金光 AI 眼睛图刷屏 — LudovicCreator · 2026-10-12
• 用 MiniMax H3 生成「美少女战士大战哥斯拉」动画短片 — Certain_Potato_4509 · 2026-10-12
• 用 Opus 5.5 指挥即梦 CLI 自动生成分镜,做出有质感的故事片 — op7418 · 2026-10-12

更多「多模态」频道 AI 资讯 →