ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation
Zichong Meng, Chongjian Ge, Chun-Hao P. Huang, Yang Zhou, Huaizu Jiang
cs.CV
2026-09-24
东北大学与Adobe把图像RDM接到四步因果视频：随机干净出口、轻量VAE、分阶段VJP，再补光流正则。20次更新、16个A100卡时，VBench Total 84.87，比Causal Forcing高0.36，显存从77.1GB降到48.3GB。
少步自回归视频扩散能流式出帧，后训练却几乎都走 Distribution Matching Distillation。典型配置蒸馏 Wan2.1 1.3B 时，还要冻一个 14B 分数教师、在线训一个 1.3B critic，每步更新三套视频扩散网。Self Forcing 峰值显存 77.1GB，八卡 A100 跑 22 小时（176 卡时）。图像侧的 Representation Distribution Matching 只用冻结视觉编码器，把生成分布和离线参考在特征空间对齐，不需要教师和 critic。原样搬到视频会在目标分辨率上一步都跑不动，优化配方也不成立，特征还管不住运动。
要问的是：能不能只训生成器，对着一份预计算的目标分布做后训练。
ViRDM 按三道障碍依次补丁，每一步验证过的选择都留在最终配方里。
显存。RDM 匹配的是干净终点，和 consistency 采样兼容：每步都能解出干净预测。每个 microbatch 均匀抽一个出口，只对这一步反传，前面的步无梯度推进。即便如此，生成器、Wan VAE、表征编码器的反图不能同时驻留。于是分阶段做向量-雅可比积：先无梯度 rollout 并缓存表征，再把 RDM 梯度经编码器、轻量 TAEW2.1 解码器传回潜空间，最后重放生成器。八卡上峰值 48.3GB；单卡 80GB A100 用梯度累积也能到 68.5GB。全程反传、换 Wan VAE，都会 OOM。
优化制度。图像 RDM 要上千张新鲜样本。视频里 B=8 已经有信号，B=64 基本饱和，B=1024 的 Total 只再高 0.16，每步却要 16 倍累积。初始化必须已经因果：双向 Wan2.1 直接因果推理再做 RDM，Total 只有 65.80，画面会漂；教师强制因果多步到 83.21，因果 ODE 少步到 83.41。RDM 能打磨已有因果迁移，短后训练造不出因果。
运动。逐帧 DINOv2 边际从 25% 动态到 100% 几乎不动；V-JEPA 2.1 整段表征对冻结敏感，但对中等和高等动态的区分是非线性的。补一项训练期光流正则：冻结 RAFT 看帧对，只有低于阈值才惩罚。λdyn=5×10⁻⁴ 时 Dynamic Degree 从 48.61 到 72.02，去掉该维之后 Total 几乎不变（85.77→85.79），说明补的是运动，不是其余维度。
参考集是 Causal Forcing 训练数据里 6505 对视频-文本，离线编码一次。生成侧默认 B=64，AdamW 2×10⁻⁶，20 次更新。
同骨干、同 832×480、四步因果：
| 方法 | VBench Total | Quality | Semantic | 后训练 |
| CausVid | 81.15 | 83.99 | 69.79 | DMD |
| Self Forcing | 84.20 | 84.90 | 81.39 | 120 步 / 176 卡时 / 77.1GB |
| Causal Forcing | 84.51 | 85.36 | 81.09 | DMD |
| ViRDM | 84.87 | 85.82 | 81.09 | 20 步 / 16 卡时 / 48.3GB |
人评 20 条提示，ViRDM 在文本-视频对齐拿 40.4%、画质 43.0%，Self Forcing 两项都是 32.6%。后续块收到两步时 Quality 85.44、Total 84.42；收到一步时 Total 84.27，组内最高。同一配方接到双向 Wan2.1：四步 Total 84.56，两步 84.53，一步 83.12。λdyn 加到 10⁻³，Dynamic Degree 到 88.89，闪烁和主体一致性开始掉。
少步因果视频后训练可以从「三网 DMD」换成「只训生成器」。20 步、两小时八卡，显存还能进 80GB 单卡，对没有 14B 教师预算的实验室是能跑的配方。VBench 相对 Causal Forcing 只高 0.36，Semantic 和 Causal Forcing 并列第二、低于 Self Forcing 的 81.39。质量增益薄，省下的是栈和墙钟。想复现的话，先要一份已经因果适配的少步初始化，比如 Causal Forcing 的 ODE 学生；双向检查点直接拿来做 RDM 会漂到 65.80。
作者写明：这是后训练，替不了因果预训练；短 RDM 不能把双向检查点变成因果生成器。冻结编码器和固定参考集的归纳偏都会遗传。主实验停在 Wan2.1-1.3B、81 帧、832×480，更大模型、更高分辨率、更长时域没有测。光流正则可能鼓励度量对齐的运动伪影，权重扫描显示过大就伤一致性。人评份额没有给样本量。B=64 相对图像 RDM 的数千样本很小，分布匹配估计方差异没单独报。