LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation
Zhengqiang Zhang, Lingchen Sun, Rongyuan Wu, Qiaosi Yi, Xiangtao Kong, Chaodong Xiao, Lei Zhang
cs.CV
2026-09-29
把 DiT 当自编码器，单阶段去掉独立 VAE。ImageNet 256 与 512 的 FID 为 1.80 与 1.90。
主流 Latent Diffusion Model（LDM，在压缩 latent 里做扩散）是两阶段流水线：先在 OpenImages 一类数据上预训练 auto-encoder（AE，自编码器），把 256×256 图像压成例如 32×32 的 latent，再冻结这个空间训扩散。DiT、SiT、Stable Diffusion、FLUX 都走这条路。
贵是一层，tokenizer 要单独预训练，强方法还要挂视觉基础模型（VFM）。表征也会失配：latent 按重建学成，扩散阶段不再改。EQ-VAE 和 VAVAE 已经说明，重建好的空间不一定适合生成。REPA-E、UNITE、DSD 把 tokenization 和生成绑着训，却仍各留独立 encoder、decoder 或扩散模块。
LDM-is-AE 的切入点更窄。DiT 每一步已经在做 latent 到特征再回到 latent，这是一套藏着的解码-编码。把中间特征钉到图像域，独立 tokenizer 就可以去掉。
标准 DiT 把带噪 latent zt 扩成高维中间特征 F，再压回 latent。前半像解码，后半像编码。LDM-is-AE 按这个结构切开：
切面各加一个轻量 MLP，让 F 的通道对齐 pixel-unshuffle（空间折进通道）后的图像 xu。监督是像素 ℓ2 加 LPIPS（深度特征上的感知距离），时间权重默认 w(t)=(1-t)^2，靠近干净端更重，量级跟 v-loss 对齐。
整段 F 钉在图像域会挤掉去噪容量。DiT-D 输出对半切开：对齐图像的 F 和辅助特征 F′。DiT-E 吃 γ(t)F+(1-γ(t))F′，γ(t)=t^k。接近 t=1 时 F 主导，干净步保持合法自编码；噪声大时 F′ 补容量。小模型上 k=3.0 最好。
DiT-E 做成残差，归一化输出加到从图像对齐特征插值来的 skip 上，只学修正。总损失是 Lldm 加加权图像对齐项。干净 latent z1 由 t=1 的 DiT-E 从 xu 编出，这条编码路径 detach 梯度，不再叠显式重建目标。t=1 时路径变成 z1 → F≈xu → ẑ1，反过来就是图像到 latent 再回到图像。总深度固定时 2 层给 DiT-E、10 层给 DiT-D 最好，小模型 FID 17.69、IS 119。
ImageNet 类条件生成，50K 张图、50 步 Heun、CFG=2.2。主模型 961M，300 epoch，生成器前向 7.02×10^19 FLOPs。两阶段的 AE/VFM 预训练未计入。
| 方法 | 设定 | FID↓ | IS↑ |
| DiT-XL/2 | 两阶段，无 VFM | 2.27 | 278 |
| SiT-XL/2 | 两阶段，无 VFM | 2.06 | 270 |
| REPA-E (scratch) | 单阶段+DINOv2 | 1.67 | 310 |
| UNITE-XL | 单阶段+独立 decoder | 1.75 | 255 |
| JiT-H/16 | 像素扩散 | 1.86 | 303 |
| LDM-is-AE | 单阶段纯生成器 | 1.80 | 314 |
256 上 IS 314 为表内最高。不靠 VFM 时 FID 1.80 好过 JiT-H/16 的 1.86 和 PixelFlow 的 1.98，也低于带 DINOv2 的 PixNerd（2.15）。REPA-E 从零训是 1.67，那是独立 AE 加 DINOv2。生成器训练量约是 JiT-H/16 的一半（7.02 vs 14.0），低于 UNITE-XL 的 12.0。带 VFM 的两阶段仍更强：REPA-E 微调 1.12，RAE-DiT 1.13，DDT-XL/2 1.26。
512 上 FID 1.90、IS 320，略好于 JiT-H/32 的 1.94/309 和 REPA-SiT-XL/2 的 2.08/275。
重建数字写出空间偏向。ImageNet val-50K 上 PSNR 27.57，高于 VAVAE 的 26.59 和 SDVAE 的 25.94。rFID 0.7879，差于 VAVAE 的 0.2650；gFID 1.821，优于 VAVAE 的 2.566 和 REPA-E 的 2.745。重建更贴自然图、更不贴输入。生成 FID 1.80、重建 gFID 1.82、随机 50K 训练集 FID 1.74，三个数几乎重合。PSNR 约 20 epoch 饱和，latent 漂移约 260 epoch 才平台，空间在重建稳住后仍跟着去噪目标改。
JiT-B/16 无 CFG、200 epoch：原版 FID 30.27，只加 LPIPS 到 27.57，完整方法到 25.95；IS 从 54.80 到 61.09 再到 67.45。接到 SiT-B/2 上 FID 45.19→41.68。通道 128 最好。
想甩掉独立 VAE，这是一条可复现的单阶段路径：不用 OpenImages tokenizer，也不用 DINOv2。961M、300 epoch、约 JiT 一半的生成器 FLOPs，ImageNet 256/512 的 FID 是 1.80 和 1.90。流水线减负成立，FID 榜首不成立。带 VFM 的两阶段仍低一截。中间图像对齐特征被提到可用于可控生成和编辑，正文没有实验。rFID 变差、gFID 变好这组数在给「扩散原生 latent」作证，文生图还没在正文里验证。
作者承认残差 latent 预测可能限制对 latent 空间的探索，这和 PSNR 早饱和、编码器只学修正对得上。编码路径 detach 梯度，重建误差不回流进 DiT-E 的编码方向，联合学习在这条边上是单向的。主表 FLOPs 只计生成器前向，两阶段 AE/VFM 被排除，便宜是相对口径。主结果绑着 CFG=2.2；深度切分、k 和通道都在小模型和 10K 图上扫出，换 XL 是否仍最优没有交叉验证。文生图只指向附录，正文没有数字。ImageNet 类条件不能外推到开集文生图。