斯坦福论文 DWD:DiT 加线性头直接出像素,丢掉 VAE 解码器
kwangmoo_yi · x · 2026-11-19
斯坦福大学与 Luma AI 等机构发布 arXiv 论文 DWD(Decoding Without a Decoder),提出让扩散 Transformer 通过线性头直接预测最终像素,省去潜在扩散模型对解码器的依赖。
核心思路:
- 将去噪与出像素两个角色分离:原去噪头继续驱动采样轨迹,另加一个 DWD 头在最后一步直接预测像素。
- 迁移到预训练潜在模型时,只需微调最后几个 transformer 块,用像素质量损失训练 DWD 头,同时锚定去噪头保持采样轨迹。
效果:
- 在潜在图像与视频生成器上移除解码器后,质量保持甚至更好,推理成本降低;Wan 视频生成上可见减少细节畸变与闪烁,warping error 降低 23%。
- 对不使用解码器的像素扩散模型同样有效:文生图纹理细节显著提升,ImageNet FID 从 1.55 改善到 1.43,创像素扩散新 SOTA。
代码即将开源,另有 MiniMax H3 相关实验与 AnisoT2I 项目。作者推测,训练时的 V(Q)AE 或许只是加速手段,事后可被完全抛弃。
所属事件:斯坦福 DWD 论文:扩散模型免解码器直出像素(4 条相关)→
「多模态」频道最新
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19
- AI 生成「机器人神父」低垂双手祈祷,教堂场景以假乱真 — MrWoohoo · 2026-11-19
- AI 复刻 80 年代手绘动画风格短片《守门人》第一集 — oultimobuilder · 2026-11-19
- AI 生成 ARC'TERYX 户外广告片,运镜配乐调色被赞近完美 — gen_ericai · 2026-11-19
- AI 动画短片《Solar Ascendant》:超级英雄猴飞越末日都市 — Solaris-Frame · 2026-11-19
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19