On the Diffusibility of High-Dimensional Latents
Chao Feng, Zhiyang Xu, Bowei Chen, Yuanjun Xiong, Xiyao Wang, Jui-Hsien Wang, Richard Zhang, Zhe Lin, Andrew Owens, Yijun Li
ECCV 2026
cs.CV, cs.LG
2026-09-24
表示自编码器为重建去微调编码器，有效维从672塌到129。标准速度预测难训，改成x0预测后，微调DINOv2的GenEval从30.96回到39.48。
RAE（Representation Autoencoder）把扩散搬进预训练视觉编码器的特征空间，想同时要语义和细节。现成的 DINOv2、SigLIP 并不是为重建训的，文字、细纹理、小物件经常没了。把编码器解冻、加上重建损失，PSNR 会上去。
麻烦在后头。重建调过的特征名义上还是 768 或 1024 维，能量却塌进一个低维子空间。标准 flow matching 的速度预测（v-prediction）在这种几何里很难训，连单图过拟合都慢。前人的办法是再压一截维度，细节又丢回去。这篇要回答：高维、能重建的特征空间，到底能不能直接扩。
在 ImageNet 验证集上对 patch 特征做 SVD，定义有效维 Rτ：解释至少 τ% 方差所需的最少主成分数。冻结 DINOv2-L 是 1024 维，R90=672，重建 PSNR 只有 17.34。重建微调后 PSNR 到 29.12，R90 掉到 129。MAE 这类本来就为重建预训练的编码器更狠，MAE-B-RAE 的 R90 只有 103/768。
几何上，干净特征 x0 近似落在一个低维子空间，噪声却是各向同性的。v-prediction 的目标可以拆成流形上的一项，加上垂直于流形的正交噪声。维数一高，正交项会占满容量。x0-prediction 直接预测干净特征，正交噪声与信号独立，网络不用去拟合那些方向。实现上模型输出 xθ，再换成速度损失 ‖(x0−xθ)/t‖²，t 下限卡在 0.05，避免除零。时间采样跟 RAE 一样用带 shift 的均匀日程，n=4096。
生成骨架接近 MetaQuery 和 BLIP3-o：冻结 Qwen3-VL-2B 当自回归条件器，64 个 query token 抽出文本条件，1B 的 Lumina-Next DiT 从零训。编码器微调时除了像素 L1、感知损失和对抗损失，还加一项跟原版 DINOv2 特征的 L2，防止语义塌掉。主实验 256 分辨率，BLIP-3o 公开预训练集约 34M 子集，90k step，采样用 100 步 Euler。
同一套 1B DiT、同样数据：
| Tokenizer | 预测 | GenEval | DPG-Bench | COCO-30k FID | 重建 PSNR |
| 冻结 DINOv2-L | v | 37.63 | 70.21 | 18.34 | 17.34 |
| 微调 DINOv2-L | v | 30.96 | 67.47 | 29.97 | 29.12 |
| 微调 DINOv2-L | x0 | 39.48 | 71.83 | 16.80 | 29.12 |
| 微调后压到 32 维 | v | 40.99 | 73.04 | 17.64 | 25.83 |
重建微调加 v-prediction 三项全崩，FID 到 29.97。换成 x0 就超过冻结基线。定性上，v-prediction 会把「粉色汽车」扩成一团糊，x0 能保住车身结构；冻结 DINOv2 会把紫色背包扩错颜色、把自行车扩碎，微调加 x0 后颜色和完整性都回来。压到 32 维的 adapter 文图对齐更高，FID 仍差一截，细节被瓶颈吃掉。MAE-B-RAE 上同样的对比：v 是 GenEval 36.17、DPG 67.54、FID 22.20；x0 是 40.89、73.90、17.24。
内部 90M 数据再加 BLIP3o-60k SFT 后，256 分辨率 GenEval 78.62、DPG 80.13；512 分辨率 79.69 / 81.15。对照自己复现的 Scale-RAE（2.4B DiT，224 分辨率）是 77.43 / 78.47。数据、模型尺寸、分辨率都不对齐，只能当「能 scale」的旁证。
RAE 路线现在卡在一个假两难：冻编码器，语义好、重建差；解冻重建，细节回来、扩散变难。这篇把难训的原因钉在有效维塌缩，高维本身不是原罪。对做 tokenizer 的人，可以先把重建做强，再改预测目标，不必立刻砍维度。对做 DiT 的人，x0-prediction 不是新配方，JiT 在像素空间已经用过；这里的贡献是把它接到重建诱导的流形几何上，并在文生图上量出来。
分析假设特征落在线性子空间，真实流形有弯曲，正交分解只是近似。
文图对齐上，32 维瓶颈仍高于高维 x0（GenEval 40.99 vs 39.48）。如果产品指标是 GenEval 而不是 FID，这篇没有赢过砍维。缩放实验用了未公开的 90M 数据，和 Scale-RAE 的对比也不是控制变量。编码器重建微调只在 ImageNet 上做，没测 class-conditional 或其他任务。t 下限 0.05 是经验值，论文没做敏感度。没有单独的局限节，以上是读下来的缺口。