AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation
Zhiyu Xu, Weilong Yan, Yufei Shi, Shiyang Li, Yihao Liu, Kin-Man Lam, Yuewen Cao
cs.CV, cs.SD
2026-09-24
AV-GRPO 交替冻结一条完整模态轨迹,把联合音视频 RL 拆成条件子问题。在 LTX-2.3 22B 上,全参后训练把音质从 5.097 拉到 5.798,DeSync 从 0.757 降到 0.607。
联合音视频生成已经能在一次去噪里同时出画面和声轨,LTX-2、JavisDiT 这类双塔模型靠跨模态注意力交换信息。质量、对齐、同步仍经常拆开:画面能看、声音对不上口型,或者两条流各自像样、事件对不齐。
把 Flow-GRPO 直接套到成对 rollout 上会撞三件事。音频质量、画面质量、文本对齐、同步可能把票投给不同候选,混成一个 group-relative advantage 之后分不清该奖哪条塔。同步分数还取决于对面那条流:配一段平稳空镜比配频繁动作更容易拿高分,组内对比不公平。两塔还得一起反传,22B 级别显存吃紧,两条流的学习速度、噪声尺度也不一样。
AV-GRPO 把联合问题拆成两个条件子问题,交替做。音频锚定阶段:先采出一对完整音视频轨迹,锁住整条音频去噪轨迹,只对视频塔采 G 条独立轨迹,只更新视频塔。视频锚定阶段对调。每 n 步换一次目标塔,主实验 n=4。
关键是锁整条轨迹,不是只锁最终样本。两塔在每一步去噪都通过跨模态注意力交互,只固定最后一帧音频,中间状态仍会漂。组内所有视频样本对着同一条音频,同步难度被控住;锚点奖励在组内是常数,group centering 之后消失,留下的是目标模态质量和对齐,加上相对同一条对面流的同步分。
冻结对面塔还有一笔账:前向仍要跑锚点,但反传和优化器状态只留在目标塔。上海 AI Lab 用这一招,在 8 张 A800 80GB 上对 22B 的 LTX-2.3 做了全参后训练。
两条塔的超参故意拆开。视频噪声强度 aV=0.02,音频 aA=0.8;视频塔还按 LongCat-Video 的时间步重加权,把策略梯度和 KL 往后期亮度、细节更敏感的阶段推。采样用 15 步,靠近 t=1 时扩散系数会爆,Adaptive Noise Clipping 把随机增量的标准差卡在阈值 τ 以下。
奖励也按塔拆。视频侧:VideoAlign、CLIP、DeSync;音频侧:Audiobox Aesthetics、CLAP、DeSync。低 DeSync 更好,符号取反后再做组内标准化。音频另加一条 CLAP 护栏:组均 CLAP 低于阈值时,只回传对齐优势,挡住「牺牲语义换音质和同步」的捷径。
配套数据 5DAV 沿五个正交轴切:语义层级、声源类型、同步难度、时间复杂度、指令粒度。3×4×4×2×3=288 类,每类 20 条 prompt,共 5760 条。难度可按训练阶段调采样比。生成设置是 544×960、97 帧、24 FPS。
主对照是 LTX-2.3 22B 和同一套超参、同一数据顺序的 GDPO。LoRA 与全参都跑 480 步有效更新;AV-GRPO 因为两塔交替,总步数记成 1440,让每条塔把 5760 条数据看一遍。
| 方法 | AQ↑ | CLIP↑ | CLAP↑ | AV-IB↑ | JavisScore↑ | DeSync↓ |
| LTX-2.3 | 5.097 | 0.318 | 0.408 | 0.212 | 0.183 | 0.757 |
| +GDPO | 5.406 | 0.313 | 0.431 | 0.224 | 0.202 | 0.708 |
| +AV-GRPO LoRA | 5.633 | 0.330 | 0.449 | 0.236 | 0.213 | 0.554 |
| +AV-GRPO full | 5.798 | 0.327 | 0.468 | 0.247 | 0.222 | 0.607 |
全参把 JavisBench 音质从 5.097 拉到 5.798,CLAP 从 0.408 到 0.468,AV-IB 从 0.212 到 0.247。相对 GDPO,AV-IB 0.224→0.247,JavisScore 0.202→0.222,DeSync 0.708→0.607。LoRA 的 DeSync 更低(0.554),CLIP 略高(0.330 对 0.327),VQ 却从基座 5.855 掉到 5.816。画面质量几乎没动,增益集中在声音、对齐和同步。
VABench 同方向。全参音频美学 3.319→3.631,口型同步 1.351→1.646,DeSync 0.800→0.542;相对 GDPO,口型 1.439→1.646,DeSync 0.726→0.542。视觉真实感 4.395,基座 4.399,持平略降。消融在 JavisBench-mini 上:5DAV 优于 VGGSound;去掉最易或最难的同步/指令档会伤同步指标;不交替或 2/8 步切换都不如每 4 步换塔。论文没把这些消融写成数值表,只给了雷达图和相对变化。
联合生成的 RL 后训练,真正难的是 credit assignment,不是再堆一个奖励模型。AV-GRPO 的动作是把「一对样本、一个优势、两塔一起改」改成「固定对面整条轨迹,只让目标塔在可控条件下比」。冻塔让 22B 全参后训练落到 8 卡,对没有巨型集群的团队是能上手的规模。
它是工程上的解耦,不是新的生成骨架。底座仍是 LTX-2.3,奖励仍是现成的 VideoAlign/CLIP/CLAP/DeSync。谁已经在双塔 flow 模型上跑 Flow-GRPO,值得把锚定 rollout 和分塔超参抄过去;只做单模态视频或 Foley,收益有限。
正文没有独立的 Limitations 节。能看到的裂缝有几条。画面质量几乎不动,LoRA 的 VQ 还略降,方法更像在修声音和同步,不是全面抬生成上限。GDPO 对照按 480 步计、两塔同时更新,AV-GRPO 总步数 1440,算力账不完全对称。消融没有给出可引用的绝对数字,交替步数和 5DAV 的贡献只能信图。奖励全是代理模型,作者自己也承认音频侧会走「降 CLAP、抬 AQ 和 DeSync」的捷径,才加了护栏;护栏阈值怎么选、会不会换成别的 hack,没有更多审计。联合最优的附录证明建立在理想 Gibbs 核和 Dobrushin 压缩上,真实 15 步 SDE 采样离这个假设有距离。实验只覆盖 LTX-2.3 22B 一家。