真假位移回归critic梯度,一步FID做到1.36

NextGAN: Towards Simple and Scalable GAN Training for Image and Video Generation

Xinhao Lou, Dongye Xie, Peng Sun, Chenyi Zhuang, Kaicheng Yu, Tao Lin

cs.CV, cs.AI

2026-11-04

在冻结特征空间里,把 critic 的输入梯度回归到真实特征与生成特征的位移上。ImageNet 一步生成 FID 做到 1.36,1.3B 文生视频两步的 VBench 总分是 83.13。

这篇在解决什么

GAN 一次前向出样本,diffusion 和 flow 要沿轨迹反复算大网络。把预训练生成器收成一步或少步采样时,对抗训练是常用入口,critic 给出的信号却经常对不上 generator 真正用到的量。

常规损失看的是真样本和生成样本的标量分。generator 沿着这个标量的输入梯度走。梯度惩罚只约束模长,不指定方向和幅度。

NextGAN 把这条梯度写成回归目标。在冻结的表示空间里,真实特征减去当前生成特征,critic 在两点连线上的插值位置拟合自己的输入梯度。

方法

表示器全程冻结,推理只留 generator。图像用 MAE-B/16、SigLIP2-B/16、ResNet-18,各接一个四 block 的 transformer head,输出条件标量势,损失相加。现成视频编码器更偏静态外观,盖不住运动,于是用关掉 LoRA 的 Wan2.1,取第 7、11、15 层干净 latent 的文本条件特征。视频层同样各接一个 head,并对文本和视频 token 做联合注意力。

配对只共享条件,两边独立抽样,不做最优传输。位移是真实特征减去生成特征,插值点在线段上按均匀时间抽取。回归损失是该点上梯度与位移的平方误差,端点对 generator 停梯度。按位置和条件平均后,监督信号是条件均值场。两端条件分布一致时,对调端点会反转位移,插值分布不变,均值场归零。生成样本不会被指派到某一张真实样本。

critic 限定为势函数,场才是标量的梯度,generator 才能保持标准 GAN 更新:固定 critic,把生成端点的势往上推。两边交替。generator 移动之后,下一轮用新样本重估位移。

generator 固定并对插值时间取平均时,回归等价于最大化真假势差,再减去走廊上的梯度能量。总体目标等价,小批量更新可以不同。对抗形式罚的是梯度能量的平方,WGAN-GP 把模长拉向 1。图像两种形式都训了,视频结果来自场回归。

图像侧每次 generator 更新配两次 critic 更新,用 AdamW,学习率 1e-5 和 5e-5,EMA 0.999。位移按通道标准化,token 长度归一到通道维数的平方根,回归目标是位移除以 5。DiT 场回归训练 10 万步、8 张 H800,共 158.3 GPU 时。

视频沿用 rCM 的 backward simulation。从纯噪声出发,以随机长度交替去噪和加噪,噪声水平不升,损失只反传到最后一步去噪。同一套 1.3B 或 14B 权重因此能做 1、2、4 步。LoRA 秩为 256。参考视频由 Wan2.1-14B 离线生成,训练中不再查询 teacher 的 score 或轨迹。

结果

八高斯环上,NextGAN 和 non-saturating GAN 共用初始化、宽度和 3 万步预算。被捕获的样本占 92.8% 和 93.3%,有效模式数 Neff 为 7.995 和 2.770。

ImageNet 256、一步、无 guidance、5 万张图:

方法设置FID ↓IS ↑
NextGAN 回归JiT-B 像素,131M2.87207.1
NextGAN 回归DiT-XL/1 latent,675M1.54243.5
NextGAN 对抗DiT-XL/1,675M1.36241.7
StyleGAN-XL1 NFE2.30265.1
PaGoDA1 NFE1.56259.61
Drift1 NFE1.61307.5
TBSM1 NFE1.63243.0
FD-lossJiT-H/16,1 NFE0.75313.0
DiT250×2 NFE2.27278.2

基线摘自原文,评估器可能不同。1.36 低于表中多数一步方法,也低于 250 步 DiT 的 2.27。FD-loss 的 0.75 仍更低。latent 的 IS 为 241.7 和 243.5,低于 Drift 的 307.5,也低于原版 DiT 的 278.2。

JiT-B 上更换损失,5 万步 FID-50K 为:NextGAN 对抗形式 3.31,logistic GAN 5.64,无梯度惩罚的 WGAN 17.13,TBSM 的 GAN 角点 28.69。表示器消融在 2 万步:ResNet-18 单独 5.55,MAE 7.08,SigLIP2 17.78,三者合用 4.10,比最好的单个低 26%。主表 JiT-B 的 2.87 是正式设定,消融预算更短。

文生视频使用 Wan2.1,VBench 为作者自测,分辨率 832×480、81 帧。1.3B 同一套权重:

方法在线 teacherNFETotal ↑
NextGAN否180.80
rCM是180.68
AnyFlow是178.12
DMD2是178.61
NextGAN否283.13
rCM是281.88
AnyFlow是282.66
DMD2是282.78
NextGAN否482.72
AnyFlow是483.54
Wan2.1 原模型—50×282.37

同预算的 1.3B 方法里,一步和两步的 total 以 NextGAN 最高。一步 80.80 只高出 rCM 0.12。两步 83.13,比 rCM 高 1.25,比 AnyFlow 高 0.47,也高于原模型 100 次前向的 82.37。四步降到 82.72,低于 AnyFlow 的 83.54。两步质量分 83.98、语义分 79.73,语义分仍低于原模型的 80.22。

14B 的 total 是一步 79.77、两步 82.73、四步 82.02,均低于 AnyFlow 的 81.23、83.89、84.10。两步语义分 82.41,低于 AnyFlow 的 82.97。14B 一步也低于 1.3B 的一步。

四步、1.3B、同一套视频设定下换监督目标:NextGAN 82.72,GAN 81.38,WGAN 60.71,TBSM(GAN)73.07。

为什么重要

预训练生成器要压到少步时,这个目标不要在线 teacher score,也不读采样轨迹。一个 1.3B 视频 checkpoint 覆盖 1、2、4 步,两步分数超过同尺寸、训练时要查询 teacher 的 rCM 和 AnyFlow。

generator 仍做标准的势函数上升。新的部分是 critic 用位移回归来学梯度。DiT 场回归花了 158.3 H800 GPU 时,起点是现成 checkpoint。

局限与存疑

命题 1 对齐的是特征上的条件分布,而且势函数类要足够丰富。表示器扔掉的信息,特征对齐补不回来,图像或视频分布可以仍然不同。粒子收敛假定速度场接近 oracle,不管有限网络的交替优化。大生成器从零训练没有做。大规模实验都是微调,视频用的是 LoRA。

视频训练里的参考片由 Wan2.1-14B 离线生成。训练环不再查询 teacher,参考分布仍然出自一个更大的预训练模型。实拍视频数据没有测过。

14B 在每个采样预算上都低于同表最强基线。这个尺度上的提升还不稳,也没有多次独立运行。1.3B 上四步 total 低于两步,多走一步不一定更好。图 5 和图 6 是人工选帧,时间质量要看成片和 VBench 分项。表 1 的基线来自各篇原文,1.36 和 0.75 不在同一个评估器上。

走廊上的插值分布会随 generator 改变,所以 generator 那一步一般到不了差异度 DNext 的全梯度。回归和对抗两种 critic 只在总体目标、且 generator 固定时等价。

术语

原文与代码

社区讨论

相关论文

全部论文解读