Adobe/MIT 论文:DMD 蒸馏学生变差,只因 critic 没跟上 teacher 规模
rzhang88 · x · 2026-11-03
Adobe 与 MIT 的研究发现,分布匹配蒸馏(DMD)中「teacher 越大学生越好」并不总成立:如果 critic 保持较小规模,增大 teacher 反而让学生变差甚至训练崩溃。
两个简单修复:
- Joint scaling:critic 与 teacher 同步扩容,学生才能受益于更大 teacher
- STAC(步感知 critic):让 critic 知道自己在评判第几步生成,估计逐步 score
实验证据:
- 在 ImageNet 上对 7 种 SiT 规模做控制实验
- 联合缩放 + STAC 把 4 步 SiT-B 学生在无 CFG 下的 FID 从 13.91 降到 6.90
- 在 SDXL、FLUX.2、Wan2.1 的文生图/文生视频上进一步验证(如 4 步 FLUX.2 4B 学生用 9B teacher + 9B critic)
论文含完整的 critic 设计与训练策略消融。
「多模态」频道最新
- 开发者用 Claude Opus 5.5 生成 nanite/voxel 风格森林，效果惊艳 — dreamwieber · 2026-11-03
- 博主实测 HeyGen Video 1 新模型：两版提示词跑出白金两种创意风格 — toolstelegraph · 2026-11-03
- HeyGen 创始人：开源模型将像 LLM 一样赢下视频与语音赛道 — toolstelegraph · 2026-11-03
- NVIDIA 发布 Cosmos 仿真配方：白昼驾驶秒变雨夜，道路轨迹不变 — NVIDIAAI · 2026-11-03
- Suno 用户发帖诉苦:不想自己写提示词,求一键生成 — gleech · 2026-11-03
- Seedance 2.5 实测：30 秒生成沼泽怪物进村短片 — LudovicCreator · 2026-11-03