Restoring Diversity in Distilled Image and Video Generators by Probing Activations
Furkan Horoz, Ozgur Kara, Kaan Oktay, Adil Kaan Akan, Atakan Kara, Anand Bhattad, James Matthew Rehg
cs.CV
2026-11-14
探测激活发现蒸馏学生总方差没丢、只是挤进更少方向,坍缩发生在单个中间块;LoRA 对齐或免训练注入教师主方向,四个图像视频模型多样性恢复到接近教师。
4 步蒸馏模型(DMD2、TDM、lightx2v 这类)把扩散采样从几十步压到 4 步,代价是多样性坍缩:同一个 prompt 换一批 seed,构图、姿态、镜头几乎不变。此前的补救分两路。一路改蒸馏目标重新蒸馏,训练成本高,常带质量损失;另一路冻结学生、在推理时干预,比如优化初始噪声、扰动中间特征,或者第一步借用教师。两路都跳过了同一个问题:多样性到底在网络内部哪一层丢的。这篇先做诊断,把坍缩定位到一个具体的中间块,再对着那个块修。
诊断做法很直接:给教师和学生喂同一组 1000 个噪声和同一个 prompt,在每个 block 统计跨噪声的激活分布,算三个量——总方差(点云整体散多开)、participation ratio(方差摊在多少个有效方向上)、concentration(平均每个活跃方向分到多少方差)。
结果反直觉:学生的总方差与教师相当甚至更高(四个模型为教师的 1.03–2.92 倍),但 participation ratio 在某个中间块骤降到教师的 37%–60%,concentration 最高冲到 8 倍。方差总量没丢,只是挤进了少数方向,并且级联影响后续所有层直到输出。定位是否可信,用操控实验验证:把学生的激活沿教师第一主方向推,输出随之变构图、变姿态、变镜头;沿学生自己的主方向推,只变毛色光影,布局不动。被蒸馏压掉的正是决定结构的方向,而学生后半段网络仍能解码它们,坏的只有中间那一块。
修复叫 ReDiverse,两条互补路径:
只动第 1 步是个关键选择:全局布局和镜头在第 1 步定型,后面几步管纹理细节。消融显示,把回归或 LoRA 开到后面几步,Vendi 会更高,但 CLIPScore、HPSv2、ImageReward 全面下滑。
先看诊断本身的预测力。MiniMax-H3 的两个 4 步学生,坍缩块上保留的教师 PR 分别为 61%(FastVideo)和 28%(Turbo),输出 DINO 多样性正好同序:52.3 对 35.8,教师 55.3。保留方向越多,输出越多样。
主结果(553 条 GenEval prompt、每条 100 张图):
| 4 步模型 | DINO 多样性:学生 → ReDiverse | 教师 |
| SDXL | 59.4 → 65.0 | 66.3 |
| SD3 | 48.4 → 60.1 | 61.6 |
对照里,需要整套重新蒸馏的 DP-DMD 在 SDXL 上只有 58.3,低于学生本身;SD3 上 56.8,低于 ReDiverse 的 60.1。在测试时直接对多样性分数做优化的 Noise Optimization,SD3 上 DINO 56.9,同样被超过,仅 Vendi 一项例外。两个变体单独用都有增益(SDXL 上 FT 64.6、TF 60.1),叠加最大;SDXL 的 LPIPS 和 SD3 的 Vendi 甚至超过教师。视频侧(Wan 2.1、MiniMax-H3,300 条 VBench prompt),Wan 2.1 上除 V-JEPA 2 外全部多样性指标追平或超过教师,H3 上接近教师并在 ViCLIP 上反超;用真实视频后训练的 DFD 在 Wan 2.1 上反而降多样性,H3 上几乎没变化。质量侧,CLIPScore 与学生差距小于 0.5 分,视频主体/背景一致性接近教师,文生视频相似度与学生差距 1 分以内。用户研究中,受试者在图像和视频上都更偏好 ReDiverse 而非任何 4 步方法,总体多样性评分与教师持平略高;Gemini 3.1 Pro 做裁判的自动评测结论一致。
消融确认设计不是拍脑袋:回归块选在坍缩块之前增益缩水(SD3 上 DINO 48.9 对 51.6),选在之后多样性更高但 ImageReward 从 0.934 掉到 0.839。注入方向必须用教师的:学生自己的方向只把 DINO 从 46.9 提到 49.5(教师方向 53.0),随机方向能推到 57.8 但 ImageReward 从 0.955 崩到 0.719,变的多数是背景纹理。修完再测,坍缩块 PR 从 120 升到 190(SDXL,教师 317),从 535 升到 593(Wan 2.1,教师 918),方法确实动了诊断指向的那个量。
对做生成服务的人,这是眼下最便宜的多样性修复路径。ReDiverse-FT 全部训练量是 200 步迭代、1600 个 caption-noise 对,一套 LoRA 配方通吃 SDXL、SD3、Wan 2.1、MiniMax-H3 四个发布版 checkpoint,和重新蒸馏不在一个量级;ReDiverse-TF 连训练都免了。逐块 PR 曲线本身也是独立工具:蒸馏一结束就能读出这个学生丢了多少方向,输出指标做不到,论文用它区分开了同一教师的两个学生。方法组件不新,FitNets 回归是 2015 年的东西,PCA 注入也常见,新意全在定位结论和把老工具放到正确的位置。渐进,但扎实。
论文自认三条:质量仍有下降,图像的 reward 分数和视频的真实感相对教师可见掉点,因为这是蒸馏后补救而非蒸馏中预防;方法假设学生与教师同构,BK-SDM 这类压缩学生需要额外学层间投影;下一步计划把这套探测直接用于设计新蒸馏目标。
读下来还有两点。ReDiverse-TF 每换一个 prompt 就要跑 25 次教师,视频教师是 14B 和 33B 的 DiT,单 prompt 场景的教师侧开销不小,只在同 prompt 批量采样时摊得薄。多样性指标全部是嵌入距离口径,「接近教师」不必然等于「用户想要」,而 K、τ、教师 guidance、注入幅度都在拨多样性-质量的天平;论文用同一套默认值跑四个模型都有效,但敏感性消融只在 SD3 上做过。