Structured Residual Connectivity Matters for Diffusion Transformers
Yuhe Liu, Xinyin Ma, Gongfan Fang, Songhua Liu, Xinchao Wang
cs.CV
2026-09-27
把DiT残差改成镜像层检索，不到0.1%参数下训练最多快1.73倍，REPA-XL无引导FID从5.9到4.34。
U-Net扩散模型靠跨尺度skip connection把浅层空间细节直接送回解码端。Diffusion Transformer（DiT）换成均匀残差流：每一层只做 x{l+1} = xl + fl(xl)，最终表示是前面所有层的等权求和。浅层空间线索被冲淡，反向拓扑也被锁成一条加性链。
U-ViT、U-DiTs把长跳接搬回来，融合权重学好就固定；LLM的Attention Residuals按输入加权，却要对所有前层稠密路由。新加坡国立大学和上海交大问的是：图像去噪到底需要怎样的跨层通路。
把DiT沿深度对半切成encoder / decoder，保持单尺度token。encoder各层输出（含patch embedding）收成可微分源集合，梯度能顺着路由打回浅层。每个transformer子层在self-attention和MLP之前插入残差路由：对当前表示和候选源做RMSNorm，用可学习向量打分，softmax加权求和。残差可以按token、位置和扩散时间步去取更早的特征，像按内容去浅层记忆里取空间线索。
先让每层看全部encoder源（Figure 4），浅层特征整网一直被高权重点名，模型还会自发偏向镜像层对。最终设计收成mirror routing：第j个decoder层只取镜像encoder层K-j+1，encoder内部也对更早表示做路由。稠密全路由要堆O(L)个源；静态skip参数大约多77倍，融合却不随输入变。镜像把结构先验写进拓扑，权重仍按内容自适应。
ImageNet 256×256类别条件生成，默认无classifier-free guidance（CFG，推理时混入无条件预测来加强条件）。
| 设置 | 迭代 | FID↓ | 对照 |
| DiT-S/2 + Ours | 400K | 62.48 | 69.81 |
| DiT-B/2 + Ours | 400K | 36.33 | 44.21 |
| DiT-XL/2 + Ours | 400K | 15.07 | 18.85 |
| DiT-XL/2 + Ours | 800K | 11.40 | 基线800K 13.71，1300K 11.76 |
| REPA-XL/2 + Ours | 4M+0.28M | 4.94 | 同预算续训5.87 |
| REPA-XL/2 + Ours | 4M+0.35M | 4.34 | 原checkpoint 5.9 |
相对降幅随规模变大：S / B / XL为10.5%、17.8%、20.1%。匹配同一FID时训练最多少1.73倍。额外参数S加0.019M、XL加0.13M，不到0.1%；FLOPs多0.3%。
REPA（Representation Alignment，给SiT-XL/2对齐外部视觉特征）后期很钝：1M步到6.4 FID后，再3M步才到5.9，只掉0.5。同设置续训0.28M步几乎不动（5.87）；加路由后0.28M到4.94，0.35M到4.34。guidance interval取[0, 0.7]时，0.28M模型CFG FID为1.39，REPA 4M是1.42。
DiT-S/2、400K消融：U-ViT式静态镜像skip为67.90，全程贴基线；同样镜像对改自适应融合、encoder不路由为64.83；稠密Attention Residuals为62.87，decoder侧源激活1.51 GB；镜像路由62.48，激活289 MB，大约省81%。全encoder源63.48，只取第一层63.51，只取最后一层66.05。镜像是这组里最好的。
CKA（Centered Kernel Alignment，衡量两层表示有多相似）显示原版DiT-XL/2各层表示高度同质。加路由后过强相似性下降，反对角镜像对应更清楚；早期与晚期镜像层对的梯度余弦相似度升高，中间层仍分化。
这是给DiT / SiT的廉价接线改动，不改单尺度backbone，也不要新数据。从零训和在REPA checkpoint上微调都有效，收益主要来自通路和梯度结构，多出来的容量可以忽略。
对已经训到后期、FID几乎不动的DiT系模型，加一层很薄的模块再微调几十万步，能再抠一分多FID。跟把U-Net skip硬接回来比，参数和FLOPs都小一个数量级，质量还更好。它仍是架构上的渐进改进，任务还是ImageNet类别条件生成。值不值得跟，取决于你是不是在训或微调DiT类backbone。
论文自己写了：还没在更大的文生图、文生视频模型上验证；更强的多模态条件或时间依赖进来之后，镜像策略未必仍是最优。
实验全是ImageNet 256×256。REPA微调关掉了原来的projection loss，对照是同样关掉、不加路由的续训；完整REPA目标再加路由没有做。CFG上1.39对1.42的差距很小，IS从305.7掉到297.4，Precision / Recall也略降，系统级表上的「超过」主要写在FID上。梯度对齐分析用四个随机latent、t=500的输出范数做probe loss，更接近被镜像连接诱导出来的优化行为描述，不是独立的因果证据。U-ViT对照是在单尺度DiT里复现concat加线性投影，没有原版下采样，可能低估层次化skip的上限。