ReDiverse:研究揭示蒸馏扩散模型多样性坍缩的机制与修复

anand_bhattad · x · 2026-11-19

研究者 anandbhattad 发布 ReDiverse 项目,延续其「探测→分析→改进」的方法论,试图提升蒸馏生成器的多样性。

团队探测了多个蒸馏扩散模型在图像与视频上的激活,发现一致的坍缩模式:模型的主方向发生坍缩,集中在某一层、尤其在去噪过程早期。与教师模型相比,蒸馏模型以非常具体的方式丢失了多样性。研究者据此提出针对性的改进方案。

所属事件:ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩(9 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →