蒸馏生成器多样性坍缩定位到单个中间块,200 步 LoRA 即可恢复

Restoring Diversity in Distilled Image and Video Generators by Probing Activations

Furkan Horoz, Ozgur Kara, Kaan Oktay, Adil Kaan Akan, Atakan Kara, Anand Bhattad, James Matthew Rehg

cs.CV

2026-11-14

探测激活发现蒸馏学生总方差没丢、只是挤进更少方向,坍缩发生在单个中间块;LoRA 对齐或免训练注入教师主方向,四个图像视频模型多样性恢复到接近教师。

这篇在解决什么

4 步蒸馏模型(DMD2、TDM、lightx2v 这类)把扩散采样从几十步压到 4 步,代价是多样性坍缩:同一个 prompt 换一批 seed,构图、姿态、镜头几乎不变。此前的补救分两路。一路改蒸馏目标重新蒸馏,训练成本高,常带质量损失;另一路冻结学生、在推理时干预,比如优化初始噪声、扰动中间特征,或者第一步借用教师。两路都跳过了同一个问题:多样性到底在网络内部哪一层丢的。这篇先做诊断,把坍缩定位到一个具体的中间块,再对着那个块修。

方法

诊断做法很直接:给教师和学生喂同一组 1000 个噪声和同一个 prompt,在每个 block 统计跨噪声的激活分布,算三个量——总方差(点云整体散多开)、participation ratio(方差摊在多少个有效方向上)、concentration(平均每个活跃方向分到多少方差)。

结果反直觉:学生的总方差与教师相当甚至更高(四个模型为教师的 1.03–2.92 倍),但 participation ratio 在某个中间块骤降到教师的 37%–60%,concentration 最高冲到 8 倍。方差总量没丢,只是挤进了少数方向,并且级联影响后续所有层直到输出。定位是否可信,用操控实验验证:把学生的激活沿教师第一主方向推,输出随之变构图、变姿态、变镜头;沿学生自己的主方向推,只变毛色光影,布局不动。被蒸馏压掉的正是决定结构的方向,而学生后半段网络仍能解码它们,坏的只有中间那一块。

修复叫 ReDiverse,两条互补路径:

只动第 1 步是个关键选择:全局布局和镜头在第 1 步定型,后面几步管纹理细节。消融显示,把回归或 LoRA 开到后面几步,Vendi 会更高,但 CLIPScore、HPSv2、ImageReward 全面下滑。

结果

先看诊断本身的预测力。MiniMax-H3 的两个 4 步学生,坍缩块上保留的教师 PR 分别为 61%(FastVideo)和 28%(Turbo),输出 DINO 多样性正好同序:52.3 对 35.8,教师 55.3。保留方向越多,输出越多样。

主结果(553 条 GenEval prompt、每条 100 张图):

4 步模型DINO 多样性:学生 → ReDiverse教师
SDXL59.4 → 65.066.3
SD348.4 → 60.161.6

对照里,需要整套重新蒸馏的 DP-DMD 在 SDXL 上只有 58.3,低于学生本身;SD3 上 56.8,低于 ReDiverse 的 60.1。在测试时直接对多样性分数做优化的 Noise Optimization,SD3 上 DINO 56.9,同样被超过,仅 Vendi 一项例外。两个变体单独用都有增益(SDXL 上 FT 64.6、TF 60.1),叠加最大;SDXL 的 LPIPS 和 SD3 的 Vendi 甚至超过教师。视频侧(Wan 2.1、MiniMax-H3,300 条 VBench prompt),Wan 2.1 上除 V-JEPA 2 外全部多样性指标追平或超过教师,H3 上接近教师并在 ViCLIP 上反超;用真实视频后训练的 DFD 在 Wan 2.1 上反而降多样性,H3 上几乎没变化。质量侧,CLIPScore 与学生差距小于 0.5 分,视频主体/背景一致性接近教师,文生视频相似度与学生差距 1 分以内。用户研究中,受试者在图像和视频上都更偏好 ReDiverse 而非任何 4 步方法,总体多样性评分与教师持平略高;Gemini 3.1 Pro 做裁判的自动评测结论一致。

消融确认设计不是拍脑袋:回归块选在坍缩块之前增益缩水(SD3 上 DINO 48.9 对 51.6),选在之后多样性更高但 ImageReward 从 0.934 掉到 0.839。注入方向必须用教师的:学生自己的方向只把 DINO 从 46.9 提到 49.5(教师方向 53.0),随机方向能推到 57.8 但 ImageReward 从 0.955 崩到 0.719,变的多数是背景纹理。修完再测,坍缩块 PR 从 120 升到 190(SDXL,教师 317),从 535 升到 593(Wan 2.1,教师 918),方法确实动了诊断指向的那个量。

为什么重要

对做生成服务的人,这是眼下最便宜的多样性修复路径。ReDiverse-FT 全部训练量是 200 步迭代、1600 个 caption-noise 对,一套 LoRA 配方通吃 SDXL、SD3、Wan 2.1、MiniMax-H3 四个发布版 checkpoint,和重新蒸馏不在一个量级;ReDiverse-TF 连训练都免了。逐块 PR 曲线本身也是独立工具:蒸馏一结束就能读出这个学生丢了多少方向,输出指标做不到,论文用它区分开了同一教师的两个学生。方法组件不新,FitNets 回归是 2015 年的东西,PCA 注入也常见,新意全在定位结论和把老工具放到正确的位置。渐进,但扎实。

局限与存疑

论文自认三条:质量仍有下降,图像的 reward 分数和视频的真实感相对教师可见掉点,因为这是蒸馏后补救而非蒸馏中预防;方法假设学生与教师同构,BK-SDM 这类压缩学生需要额外学层间投影;下一步计划把这套探测直接用于设计新蒸馏目标。

读下来还有两点。ReDiverse-TF 每换一个 prompt 就要跑 25 次教师,视频教师是 14B 和 33B 的 DiT,单 prompt 场景的教师侧开销不小,只在同 prompt 批量采样时摊得薄。多样性指标全部是嵌入距离口径,「接近教师」不必然等于「用户想要」,而 K、τ、教师 guidance、注入幅度都在拨多样性-质量的天平;论文用同一套默认值跑四个模型都有效,但敏感性消融只在 SD3 上做过。

术语

原文与代码

社区讨论

相关论文

全部论文解读