FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders
Hongyang Du, Yunfei Xie, Junjie Ye, Jiawei Yang, Xiaoyan Cong, Haodong Zhang, Yongchao Huang, Haiyu Wu, Zongxia Li, Shihang Gui, Dawei Liu, Runhao Li, Jingcheng Ni, Chen Wei, Randall Balestriero, Yue Wang
cs.CV
2026-09-26
在冻结的DINOv3上随机抽取编码器层来训练解码器与扩散模型，不改生成器权重，只换解码器就把无引导生成FID从3.01降到2.21。
Representation autoencoder（RAE）把冻结视觉编码器的特征同时交给扩散生成器与像素解码器。层怎么合成这一份潜变量，直接决定两个阶段各自能拿到什么信息。
浅层更贴像素细节，深层更利于生成指标。RAEv2 的做法是固定启发式：把最后 k 层加起来。在 ImageNet-256、DINOv3-L 上，k 从 7 扩到 23，重建 PSNR 从 22.58 dB 升到 27.04 dB，无引导 gFID 却从 1.65 恶化到 3.01，有引导 gFID 从 1.06 升到 1.25。可学习门控还会塌到最浅一层，GAN 打开后塌得更快。重建想要浅层，扩散想要深层，固定融合把两个目标绑死在同一种层组合上。
FuseReg 不去搜一条「最优固定融合」。训练时对每个样本随机抽编码器层的非空子集，用归一化均值当潜变量。期望上仍是全层均值，部署默认用全层。变化量落在层与层意见不一致的方向上；线性平方损失下，这就是一项显式的层分歧惩罚。固定子集和可学习全局门在二阶矩上匹配不了这套抽样。
两个阶段共用机制，各自一套丢弃率：
像素重建和潜变量预测不是同一个问题，所以 pdec 与 pdit 分开设。编码器始终冻结，架构与算力开销几乎不变。
一个 FuseReg 解码器在全层、稀疏、单层融合上都能重建，固定融合解码器一换融合就崩。
| 解码器 | k=7 PSNR / rFID | k=23 PSNR / rFID | 单层 ℓ11 PSNR / rFID |
| RAEv2（训 k=7） | 22.58 / 0.30 | 18.37 / 1.62 | 17.50 / 6.35 |
| RAEv2（训 k=23） | 12.51 / 16.10 | 27.04 / 0.18 | 14.31 / 11.21 |
| FuseReg p=0.95 | 23.77 / 0.60 | 27.52 / 0.42 | 25.13 / 0.45 |
生成侧更硬：固定一套 RAEv2 DiT 采样的潜变量，只换解码器。k=23 无引导 gFID 从 3.01 降到 2.21，约 27%；有引导维持 1.25。换到 k=7 融合，无引导从 27.73 降到 1.92，有引导从 16.35 降到 1.42。
两端一起正则时，DiT-Base 无引导 gFID 从 13.96 降到 9.93，约 29%，超过单改一端的加和。DiT-XL 上最低无引导 gFID 来自强解码器正则、pdit=0（2.91 到 2.38）；生成器侧加正则对 gFID 帮助有限，对 Inception Score 更友好。曲线非单调：小丢弃率会先变差，高丢弃率才超过基线。
这是接口正则，不是新 tokenizer。已经在跑 RAE/RAEv2 的人，换一个对层融合鲁棒的解码器就能改善生成，生成器权重都可以不动。训练时随机抽层几乎不改架构。结论也收得比较窄：把预训练编码器里已经存在、但被固定融合浪费掉的信息读出来，比再去改编码器更便宜。
实验只覆盖 ImageNet-256、冻结 DINOv3-L、DiT-Base/XL，训练步数对齐。换编码器层级、分辨率、数据域、更长日程还没有。两个阶段的最优丢弃率随模型规模、指标、是否用内部引导而变，新设置要分开扫。线性平方损失的分解是分析工具，非线性模型上的收益靠实验撑着。RAEv2 内部引导把完整头与 REPA 头的差放大，层正则如何改这条差，理论还没写完。