ReDiverse 探针法揭示蒸馏生成器多样性坍缩根因,代码模型开源

anand_bhattad · x · 2026-11-19

扩散模型蒸馏成少步学生模型后,不同随机种子生成的样本差异极小——多样性坍缩。作者通过探测学生模型内部激活发现:学生保留的总激活方差与教师相当,但集中在更少的方向上,坍缩定位于初始去噪步骤的某个中间 block,本质是方差分配错位而非生成能力丢失。

据此提出 ReDiverse 两条路线:

在图像与视频蒸馏基准上均稳定恢复样本多样性且保持生成质量,用户研究佐证。论文、代码、模型均已开源,项目由大二本科生 Furkan Horoz 主导,fal 与 Siebel School 合作完成。

所属事件:ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩(9 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →