扩散模型蒸馏丢失多样性?PCA 投影加轻量微调即可修复

anand_bhattad · x · 2026-11-19

作者分享了其一贯的研究循环:先探测模型、找到失败模式、再利用其结构改进模型。针对蒸馏扩散模型多样性下降的问题,他指出该问题可修复——用 PCA 把丢失的方向投影回教师模型附近,再对早期去噪步骤做轻量微调,即可进一步找回缺失的多样性。

所属事件:ReDiverse:定位并修复蒸馏扩散模型的多样性坍缩(9 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →