ReDiverse:探针定位蒸馏扩散模型多样性坍缩,PCA 加轻量微调即可恢复
anand_bhattad · x · 2026-11-19
anandbhattad 发布 ReDiverse 研究线程,主题是其一贯的 Probe→Analyze→Improvement 方法论:先探测模型学到了什么,分析失败在哪,再用结构洞察改进模型。团队探测了多个蒸馏扩散模型(图像与视频)的激活,发现一致模式:模型的主方向发生坍缩,集中在一层、尤其是去噪早期,导致相比教师模型丢失多样性。修复方法:用 PCA 把这些方向投影回教师空间,再只对早期去噪步骤做轻量微调即可进一步恢复多样性。该方法在多个模型上均有效,项目由本科生 Furkan 主导完成(与 fal、Siebel School 合作)。
所属事件:ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩(9 条相关)→
「多模态」频道最新
- Seedance 2.5 4K 视频生成登陆 CapCut PC,黑五首月 5 折再半价 — HeyNayeem · 2026-11-19
- fal发布Idol Max/Turbo:单张图生成游戏级3D网格,带UV与自动绑骨 — OdinLovis · 2026-11-19
- HiT 图像生成模型:从像素端到端学出抽象层级,ImageNet 256 FID 达 1.48 — LucaAmb · 2026-11-19
- osmo 更名应用型 AI 实验室,发布 Slack 内全栈视频 agent Posty — yawnxyz · 2026-11-19
- MOSS-Image-Base 实测:路牌便签类小字场景文本渲染到位 — Impressive-Kick293 · 2026-11-19
- 开发者借 Claude 在 16GB M1 Mac 上把 MiniMax H3 视频生成提速近一倍 — Lokoto123 · 2026-11-19