SMD 少步蒸馏发布:无判别器无辅助打分,验证到 33B 并可跨模型迁移
ArashVahdat · x · 2026-10-22
Ray Wu 等人发布 Simplified Matching Distillation(SMD),一种少步扩散蒸馏方法:不需要辅助 score 模型、不需要对抗训练、不需要修改生成器,即可得到照片级外观、高质量动态、省显存的训练,且输出保持模式覆盖与多样性。已在图像、视频、音视频联合、3D 生成上验证,规模到 33B 参数。还支持多教师能力合并(类似 LLM 的 OPD)、跨模型能力迁移、双向教师↔因果化蒸馏,并宣布论文、代码、模型、数据全部公开。
NVIDIA 研究员 Julius Berner 转发指出,SMD 与他们同期独立做的 Parametric Trajectory Distillation(PTD,EPFL/NVIDIA/Stanford,与 MiniMax-H3 合作演示)非常接近:相对 Parallel Decoding Distillation(PDD)的分段线性学生轨迹参数化,SMD/PTD 采用带可学习系数的基展开(推理时丢弃);三者都可视为 Lagrangian Flow-Maps 的特例,其中 JVP 可闭式计算。PTD 页面展示了在 MiniMax-H3 上六步/四步生成、图像与声音联合产出的短片。
「多模态」频道最新
- 16 条 AI 技巧做一支完整音乐视频：只用 4 个工具 — techhalla · 2026-10-22
- HeyGen 视频与语音模型上线 fal:自带音效、39 语种即时克隆 — HeyGen · 2026-10-22
- 导演用 Grok 做电影预演：艺术指导执行力到位，音画同步仍欠缺 — TinfoilTricorn · 2026-10-22
- 独立开发者两年打造轻量实时 AI 对话虚拟人,原生接入 UE5 — Sad_Eagle_937 · 2026-10-22
- 2024 年的非主流预言成真:3D 场景图 + AI 已成 AI 视频创作默认工作流 — nptacek · 2026-10-22
- 网友用 MiniMax H3 复刻 MC Standly 名曲 MV — pwillia7 · 2026-10-22