用 DiffusionNFT 跑通 MiniMax-H3 音视频联合生成 RL 训练闭环

青稞AI · wechat · 2026-09-08

VeRL-Omni 团队发布实践记录：基于 DiffusionNFT 算法，在 VeRL-Omni 框架中跑通 MiniMax-H3 的 T2VA（文本到音视频）与 FL2VA（首尾帧到音视频）在线 RL 训练闭环。

• MiniMax-H3 是开源音视频联合生成模型，输出原生立体声视频（最长15秒、2K、24FPS），Text-to-Video Arena Elo 1227 位列前三且是榜前列唯一开放权重模型。
• 架构分工：vLLM-Omni 负责 rollout 生成，Diffusers/FSDP2 负责 actor 训练，VeRL-Omni 串联数据、reward、DiffusionNFT loss 与 LoRA old-policy 同步。
• Reward 用 CLAP（文本-音频对齐）+ ImageBind（音画一致性）双指标加权，避免单一指标留下优化空隙。
• 关键坑：H3 为 CFG-distilled、timestep 用 data fraction、velocity 符号反向等设计，接入训练框架时容易静默出错——链路任何一环错了训练曲线照样上升，因此重点在逐环节验证。
• 结果：8 GPU 验证 checkpoint 的 core reward mean 0.41，训练 3+ 步升至 0.51，gradnorm 稳定在 0.06–0.12，文末给出完整可复现配置表。

原文链接 →

「多模态」频道最新

• Reddit 求助：Qwen Image 2.1 换装总毁身材比例，Flux 3 Klein 略好 — Existing-Box-7866 · 2026-10-27
• 3 步 Turbo LoRA 实测:Moss 图像模型极速出图效果展示 — JadedScorpion · 2026-10-27
• Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
• Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
• AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
• 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27

更多「多模态」频道 AI 资讯 →