去掉解码器,线性头让 Wan 视频扭曲误差降 23%

Decoding Without a Decoder: Direct Pixel Prediction from Diffusion Transformers

Hansheng Chen, Shengqu Cai, Jan Ackermann, Rayhan Zirvi, Gordon Wetzstein, Xinchen Yan, Leonidas Guibas

cs.CV

2026-11-17

DWD 在扩散 Transformer 末层并行加一个线性头,采样仍走原去噪头,只在最后一步直接输出像素,从而去掉 VAE 解码器。Wan2.1 14B 扭曲误差降 23%,像素流模型的 ImageNet FID 从 1.55 降到 1.43。

这篇在解决什么

潜空间扩散先用 DiT 在压缩 latent 里去噪,再靠卷积 VAE 解码器映回像素。解码器多一件要部署的网络,也占时间。H100 上,4 步 Wan 1.3B 生成 5 秒视频,采样 2.8 秒,解码再加 1.9 秒,大约多出 70%。更快的解码器已经把质量做得很接近,说明这块计算有冗余。从 latent DiT 读出像素,未必再需要一个完整解码网络。

像素扩散没有解码器,去噪头仍用 ℓ2 拟合条件均值,细纹理被平均掉。感知损失若加到同一个头上,细节和多样性会冲突。共享头消融把 AnisoFlow 的 ImageNet FID 从 1.55 做到 1.71,比基线更差。两个输出得拆开。

方法

DWD 在最后一层 token 旁加一个线性头,和去噪头读同一组特征。去噪头继续驱动采样。线性头只在最后一次前向把每个 token 映成像素块,再拼成图像或视频。空间下采样多为 16,每 token 对应 16×16×3。视频再乘时间因子 4,一块覆盖 4 帧。

冻结模型上,最后一层 token 的最小二乘探针已经比去噪 latent 更接近像素。图 3 的相对 RMSE 降幅大约 12% 到 51%。剩下的误差靠微调最后 K 个 block,文本大模型通常 K 为 4 到 8,同时更新两个输出头和最后的 modulation,前缀冻结。反传停在网络尾部,训练最多比全量反传快 3 倍。

损失是像素项加轨迹锚定,两路时间步分开抽。像素项用 L1、LPIPS 和对抗损失,判别器是 StyleGAN-T,按梯度范数平衡,训练后段才打开。时间步在小噪声上,平移前默认从 0 到 0.1 均匀抽,对齐最后一步。轨迹项让可训练去噪头拟合冻结原模型的速度,平移前默认从 0.04 到 1。两路共用冻结前缀的一次前向,只在最后 K 层分叉。最后一步不用 classifier-free guidance,这一步不再推进轨迹,guidance 只负责转向。

t 必须大于 0。图 4 里 t 为 0 时输入已完全去噪,FID 增益消失。留一点噪声,头才补得回被抹平的纹理。

结果

ImageNet 256 上,去掉解码器后 latent 基线的 FID 略好。REPA 从 1.38 到 1.36,IS 从 306.2 到 312.5,省下 622 GFLOPs 解码,约合单次去噪的 2.6 倍。REPA-E 从 1.12 到 1.06。JiT-H/16 从 1.90 到 1.85。AnisoFlow-H/16 从 1.55 到 1.43,IS 从 300.1 到 303.5。论文称 1.43 是像素流模型的新最优,它仍高于同表 REPA-E DWD 的 1.06。共享头把 AnisoFlow 做到 1.71。小型卷积残差没有稳定超过线性头。

表中最后一步计算量,基线含 guidance 双前向,DWD 只算条件分支,差距不全来自解码器。

设置指标结果
REPA → DWDImageNet FID1.38 → 1.36
REPA-E → DWDImageNet FID1.12 → 1.06
AnisoFlow-H/16 → DWDImageNet FID1.55 → 1.43
共享头消融ImageNet FID1.55 → 1.71
AnisoFlow 文生图COCO pFID36.59 → 32.26
Wan2.1 14B扭曲误差 ×10^-31.52 → 1.18
Wan 14B 8-bit扭曲误差 ×10^-31.69 → 1.20
Wan 1.3B 4 步端到端延迟4.661 秒 → 2.757 秒

1024 文生图上,FLUX.2 的 latent 很宽,每 token 128 维对 768 维像素,Wan 是 64 维对 3072 维,解码本来不难。Base 版在 COCO FID、pFID、HPS、OneIG、LongText 上与基线打平,每张图去掉 10.47 TFLOPs 解码。4 步版 COCO FID 从 21.50 到 21.92,pFID 从 25.52 到 25.33,其余指标打平,最后一步在平移后 t=0.7。像素版 AnisoFlow-L/16-T2I 训了 3000 步,COCO FID 从 28.86 到 27.54,pFID 从 36.59 到 32.26,皮肤和头发一类细纹理回来了,偏好分基本不动。去掉对抗损失后,pFID 回退更明显,其余仍接近。

Wan2.1 14B 每个 token 要预测 4 帧。832×480、81 帧上,扭曲误差从 1.52×10^-3 降到 1.18×10^-3,降 23%。计算时用光流对齐相邻帧,遮掉遮挡,再量剩下的像素误差,对应细网格和管道的逐帧变形。VBench 的 temporal flickering 接近满分,看不出这个差别。其余维度和 HPS 基本持平,dynamic degree 从 0.736 降到 0.711。用同样数据和同样像素损失去微调原解码器,扭曲误差只到 1.39。FP8 权重加 8-bit SageAttention2 后,基线升到 1.69,DWD 仍是 1.20,差距约 29%。

4 步 Wan 1.3B 端到端从 4.661 秒降到 2.757 秒,峰值显存从 19.22 GB 降到 16.15 GB,扭曲误差从 2.84×10^-3 降到 2.07×10^-3。4 步 FLUX.2 只从 0.776 秒降到 0.695 秒。AsymFlow 把 latent 轨迹改成像素扩散,LongText 掉到 0.777,DWD 保持 0.908,训练大约 350 对 1100 个 H100 小时。

为什么重要

采样压到 4 步后,解码占的时间比例变大。DWD 把它换成网络尾部的一次线性读出,并用锚定损失按住轨迹,同种子的内容还在。4 步 Wan 1.3B 上 1.69 倍的端到端加速,是部署侧最清楚的一笔;8-bit 推理下扭曲误差也比原解码器稳。

1.43 的 FID 更干净。这里没有弱解码器可以怪,分头让感知损失去补纹理,采样轨迹不用改写。latent 图像上 0.02 和 0.06 的 FID 变化很小,看得出的差别在视频闪烁和像素模型的纹理。

局限与存疑

论文自己列了三条。解码器已经强时增益缩小,FLUX.2 就是指标打平的例子。空间 patch 大于 16×16 时,线性头够不够还没有证明。MiniMax-H3 压到 32×32、最多 4 帧,单 token 要输出 12288 维,超过隐藏维 5376 的两倍,附录标明结果仍是初步的,这种压缩下线性头容量不够。像素损失也没按模型单独调过。

Wan 14B 的 dynamic degree 从 0.736 掉到 0.711。论文说画面看不出运动变少,但没有单独测运动幅度。VBench 多数维度打平,质量主张主要靠扭曲误差和并排画面。最终步时间是手调的,t 为 0 增益就没了。实验也没和 FlashDecoder 这类快速解码器比过延迟和质量,线性头是否比把解码器做小更划算,还没有定论。Wan 14B 的微调估计要 4300 个 H100 小时。

术语

原文与代码

社区讨论

相关论文

全部论文解读