CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
Yuxi Liu, Haoyu Li, Yixiang Cai, Tengxu Sun, Zekun Zhang, Baole Ai, Ang Wang, Jiamang Wang, Lin Qu, Kun Yuan, Kai Zhang
cs.CV
2026-09-14
北大清华阿里提出CrossDistill：高噪声用PCM保模式覆盖，低噪声用DMD修细节。Wan2.1-1.3B四步总分83.77，超过50步教师83.22，多样性约为教师的86%。
少步蒸馏卡在一对矛盾上。轨迹蒸馏（trajectory-based distillation，TD）让学生跟着教师的概率流走，不同随机种子还能长出不同视频，但四五步落地时经常糊。分布匹配（distribution matching，DM）把学生的边际分布往教师上推，画面更利落，却容易挤进少数模式：同一提示、不同种子几乎变成同一段片子。
数字把这档差距写得很清楚。Wan2.1-T2V-1.3B 上，教师的 V-JEPA 2 余弦多样性是 0.124；四步 DMD 掉到 0.071，大约只剩 57%；AnyFlow 0.082，大约 66%。DMD 的画质分并不差，问题是多样性被买走了。混两种损失、或按训练时间先轨迹后分布，都还在用，但每种目标作用在哪一段噪声上，往往是隐含的。
扩散采样大致先定大局、再修局部。高噪声步决定语义模式、构图和主体身份；低噪声步修纹理和局部统计。高噪声阶段一旦把不同种子收成同一条支路，后面再修也找不回丢掉的模式。中间态可视化里，t≈0.94 时 DMD 已经把不同初始噪声映成相近状态，教师和 PCM 仍留着种子差异。
CrossDistill 把这条经验写成调度策略：在交叉点 τ⋆ 把轨迹切开。默认 τ⋆=0.94。高噪声区间 [0.94, 1] 用轨迹保持目标，低噪声区间 [0, 0.94] 用分布匹配，两段只通过交叉状态衔接。默认四步学生是 1 步 PCM 加 3 步 DMD。PCM（phased consistency model）要求同一教师轨迹段上的状态映射到同一相终点。DMD 用教师去噪器和一个拟合学生输出的 fake 模型，用分数差把学生往数据流形上推。
三条实现选择决定它跟「把两个 loss 加起来」不是一回事。
损失级混合在整条噪声轴上同时加 PCM 和 DMD。两阶段串行训练按时间先后换目标，后一阶段仍可能改到高噪声的模式选择步。CrossDistill 把切开写在噪声轴上，和训练是否分阶段是正交的。
评测在 Wan2.1-T2V 的 1.3B 和 14B，分辨率 480×832。PCM、DMD、rCM、AnyFlow 用同一教师的官方四步检查点；损失级混合和 CrossDistill 变体用同一套训练协议。多样性是同一提示、5 个种子，在冻结的 V-JEPA 2 / VideoMAE V2 嵌入里算两两距离。
| 方法 | NFE | VBench Total | V-JEPA 2 Cos |
| 教师 1.3B | 50×2 | 83.22 | 0.124 |
| PCM | 4 | 81.68 | 0.113 |
| AnyFlow | 4 | 83.41 | 0.082 |
| DMD | 4 | 83.01 | 0.071 |
| CrossDistill | 4 | 83.77 | 0.106 |
| CrossDistill | 2 | 82.98 | 0.108 |
1.3B 四步总分 83.77，超过教师 83.22；语义分 77.21，四步里最高。画质分 85.41，和 DMD 的 85.32 几乎持平。14B 上总分 84.46，对照 AnyFlow 84.13、教师 84.11；多样性 0.095，对照教师 0.125、DMD 0.056。配对 bootstrap 下，总分相对最强四步基线 p<0.05，多样性相对 DMD 和 AnyFlow p<0.01。
把 PCM 和 DMD 的噪声支撑对调，总分掉到 81.12，多样性掉到 0.082。交叉点扫 0.90–0.96，0.94 最均衡。损失级混合只扫 λDMD，结果沿清晰–多样曲线滑动，到不了 CrossDistill 的右上角。图生视频 720P 只有定性对比：高运动提示没有明显漂移或重影，近静态提示较少冻成死帧。
少步蒸馏现在常见的做法是混损失或串阶段。这篇把「在哪段噪声用哪种目标」单独写成一条设计轴，并且用对调和混损失说明：顺序比损失配对更要紧。PCM 和 DMD 都是现成插件，交叉点对 Wan2.1 也相对稳。要把步数压到 2–4、又想留住种子级变化，这是一条能直接搬的调度。
增益来自把已有目标按噪声职责排开。没有新骨干，也没有新的损失家族。
定量几乎全在 Wan2.1 文生视频、480×832。图生视频只有 720P 定性图。交叉点 0.94 是看中间态选的，换噪声日程或换模型未必还能用同一个数。DMD 梯度被截断，两阶段只通过交叉状态的经验分布耦合，训练是否稳依赖这一实现；PCM 相对 DMD 还有 10 倍更新强度。附录里的「双价格账本」自己写了只是记账直觉，不是训练动力学保证。多样性协议每提示 5 个种子，相对差距能看，绝对值不要读过。