蒸馏扩散模型多样性坍缩可修复:PCA 投影回教师方向即可
anand_bhattad · x · 2026-11-19
线程第 3 部分:坍缩方向是可修复的。用 PCA 这类简单方法把主方向投影回教师模型空间,再加上只针对早期去噪步骤的轻量微调,即可进一步恢复丢失的多样性。
所属事件:ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩(9 条相关)→
「研究」频道最新
- Churchland 实验室用 RNN 实现 GLM-HMM,建模决策中的专注度波动 — anne_churchland · 2026-11-19
- 1.8M参数解出99.9%数独:能量模型EBR省345倍推理算力 — LucaAmb · 2026-11-19
- Multi Agent Coordination Bench 发布:8 个 agent 协作反而不如单打独斗 — AlexGDimakis · 2026-11-19
- LLNL 发布 SciResearch-Eval:用「有缺陷的模拟器」测 AI 科学判断力 — alex_verem · 2026-11-19
- LLNL 基准测试:9 个模型仅 2 个识破被暗中做错的模拟器 — alex_verem · 2026-11-19
- HiT 图像生成模型:从像素端到端学出抽象层级,ImageNet 256 FID 达 1.48 — LucaAmb · 2026-11-19