ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩
ReDiverse 由 UIUC、fal 与约翰霍普金斯团队提出,用于诊断并修复少步蒸馏扩散模型的多样性坍缩问题:蒸馏让不同随机种子生成的样本差异极小,而该工作发现坍缩有明确定位与机理,且只需极小改动即可恢复高度多样的输出,已在图像与视频模型上验证并开源代码与模型。
已确认
- 诊断结论:探测学生模型内部激活发现,学生保留的总激活方差与教师相当,但集中在更少的方向上——坍缩定位于初始去噪步骤的某个中间 block,本质是方差分配错位,而非生成能力受损;多个蒸馏扩散模型(图像与视频)呈现一致的坍缩模式。
- 修复方法:用 PCA 把丢失的方向投影回教师模型附近,再对早期去噪步骤做轻量微调,即可进一步找回缺失的多样性。
- 适用范围:已在图像和视频模型上验证,作者提及的模型包括 MiniMax-H3、Pika-H3-Flex 及后训练模型(依帖子材料转述);作者称其尝试的众多模型上均有效。
- 团队背景:项目由只读完大二的本科生 Furkan 主导,fal 与 Siebel School 的合作者(Ozgur Kara 等)提供指导并邀请其赴伊利诺伊大学实习。
- 开源:代码与模型已开源;首发账号 @ReDiverse 于 11 月 17 日公布,作者 anandbhattad 于 11 月 19 日发布详细研究线程。
为什么重要
- 蒸馏是扩散模型提速的主流手段,但常以牺牲输出多样性为代价;ReDiverse 给出可解释的机理定位(方差分配错位而非能力损失),意味着修复成本极低,不必重训整个模型。
- 该工作延续 anandbhattad 一贯的「Probe→Analyze→Improvement」方法论:先探测模型学到什么、分析失败在哪,再用结构洞察改进模型,为蒸馏模型的诊断与修复提供了可复用范式。
2026-11-17 ~ 2026-11-19 · 9 条相关
一手来源
- ReDiverse 探针诊断蒸馏扩散模型多样性坍缩并低成本修复 — ReDiverse ·
- ReDiverse 探针法揭示蒸馏生成器多样性坍缩根因,代码模型开源 — anand_bhattad ·
- 本科生主导 ReDiverse 项目,获 fal 与 Siebel School 合作支持 — anand_bhattad ·
- ReDiverse:少量改动即可恢复少步蒸馏扩散模型的多样性 — anand_bhattad · 2026-11-17
- 【源头】ReDiverse 探针诊断蒸馏扩散模型多样性坍缩并低成本修复 — ReDiverse · 2026-11-17
- 【源头】本科生主导 ReDiverse 项目,获 fal 与 Siebel School 合作支持 — anand_bhattad · 2026-11-19
- 扩散模型蒸馏丢失多样性?PCA 投影加轻量微调即可修复 — anand_bhattad · 2026-11-19
- 研究闭环:探测模型、找到失败结构、用它改进模型 — anand_bhattad · 2026-11-19
- 蒸馏扩散模型多样性坍缩可修复:PCA 投影回教师方向即可 — anand_bhattad · 2026-11-19
- 【源头】ReDiverse 探针法揭示蒸馏生成器多样性坍缩根因,代码模型开源 — anand_bhattad · 2026-11-19
另有 2 条近重复转述:anand_bhattad · anand_bhattad