微软简化少步扩散蒸馏:SMD 4 步生成超越多步教师模型
microsoft · hf · 2026-10-15
微软研究院联合 NYU、HKUST 提出 Simplified Matching Distillation(SMD),大幅简化少步扩散/流模型蒸馏:
- 核心发现:简单的 on-policy 速度回归已足以支撑 4-NFE(四步)生成,无需辅助 score 模型或特殊架构。
- 引入 Pivot——仅在训练期使用的残差代理,把局部修正与学生模型的区间均值预测分离;并将学生推离较弱的教师预测,以轻量机制避开不良模式。
- 整个框架纯回归式,既不需要在线 score 估计,也不需要对抗训练,且不改动部署的生成器结构。
- 在图像生成与编辑、3D 生成、视频合成及音视频联合生成上评测,扩展至 330 亿参数;4-NFE 下超越强少步基线,并在多个基准上超过多步教师模型。支持跨模型、多教师与因果视频蒸馏。
「多模态」频道最新
- 微软发布 LensErase:一键擦除任何物体的基础模型 — microsoft · 2026-10-15
- Runway CEO 眼神回应:Runway 抢在 DeepMind 前实现世界模型理论 — c_valenzuelab · 2026-10-15
- Minimax 视频换人 3 分钟搞定：4 步无需 LoRA，效果胜 Seedance — agapes1270 · 2026-10-15
- Flux 3 Klein 拼贴效果图曝光：人脸撕裂式拼贴惊艳出圈 — makeitrad1 · 2026-10-15
- 开源 anatomy Skill 火到 10.3k 星：一句话生成交互式科普插图与视频 — vista8 · 2026-10-15
- AI 生成《星际大战》飞梭赛车狂飙彩虹公路名场面 — draginol · 2026-10-15