字节发布 DMAD 蒸馏法:一步生成 FID 1.04,多基准刷新纪录
ByteDance · hf · 2026-10-08
字节跳动在 Hugging Face 发布 DMAD(Distribution Matching as Adversarial Distillation),一种加速视觉生成的蒸馏新方法。
核心思路:DMD 类方法需额外维护一个拟合学生分布的辅助扩散模型,成本高;DMAD 将分布匹配重构为分类问题,用共享骨干上的两个判别头区分真实数据、教师样本与学生样本,通过对数its 的线性损失直接学习 log-density ratio,免去辅助分数拟合。论文证明了在判别器最优时该损失可恢复 DMD 的分布匹配梯度,并提出基于 logit gap 的 reweighting 机制按噪声水平自适应调整教师监督。
成绩:
- ImageNet-64x64 一步生成 FID 1.04
- SDXL 四步生成在 COCO-10K 上 FID 14.47
- Wan2.1-T2V-14B 四步生成 VBench 总分 85.15,超过对比的少步方法与多步教师
- 在 MiniMax-H3-33B 音视频联合生成上,四步学生的人类偏好率相对 DMD2 达 79.1%、相对 rCM 达 84.6%(不计平局)
代码、模型与 demo 已开源。
「多模态」频道最新
- 网友用 GPT-6 Astra 与 Seedance 生成 RDR2 万圣节同人预告片 — BellatrixLestrange92 · 2026-10-08
- Midjourney 新增 rerun thinking 模式，用户实测直呼惊艳 — gen_ericai · 2026-10-08
- Nano Banana 2.1 上线 Google AI Studio，教程演示如何找到并使用 — Matthew Berman · 2026-10-08
- 网友用 Vidu Q4 + Suno 制作全女性 Fakemon 宝可梦风格斗动画 — RobotMonsterArtist · 2026-10-08
- Luke Wroblewski 实测谷歌新图像模型：更快、更便宜、效果更好 — LukeW · 2026-10-08
- Envato 推出 Burst 模式：一个点子一次生成 6 个图像方向 — eptwts · 2026-10-08