Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion
Chong Wang, Zixuan Fu, Shiqi Huang, Siyuan Yang, Hao Cheng, Bihan Wen
cs.CV
2026-09-29
PerF给像素DiT按通道分配细化次数,用持久特征引导细节。L模型256上FID 1.91,半参数逼近JiT-H的1.86。
像素空间的 Diffusion Transformer 直接在高维视觉数据上做去噪，没有预训练 VAE 先把图压成低维 latent。现有像素 DiT 大多沿用标准设计：每一层 Transformer 把整条 hidden 表示更新一遍，所有通道拿到的细化次数相同。
自然图像的粒度并不均匀。物体轮廓、布局这类全局结构往往可以压得很紧，纹理和边缘却需要更细的表示。JiT 这类均匀宽度骨干等于默认「每维特征都需要同样深度」。南洋理工大学、KTH 与河北工业大学这条线要问的是：如果故意让一部分通道少更新、一部分多更新，特征会不会自己按粗到细排开；以及这种分工能不能真正用来生成。
在 JiT 上把均匀宽度改成收缩-扩张的可变宽度。第 ℓ 层只更新前 dℓ 维，其余通道原样绕过，后面宽度变大时再入场。每个通道被真正变换的次数叫 refinement budget，可以理解为这笔特征在整张网上被「打磨」了几遍。注意力和 MLP 的参数预算按各层宽度平方和与均匀 JiT 对齐，避免「变宽了所以更强」。
把最终 RGB 预测按通道组拆开看贡献，分工自己出现了。预算小的组已经能看出完整物体和全局布局，预算往上加，贡献逐渐变成纹理、边界和残差细节。均匀细化下没有这种排序。少更新、扛全局的叫 persistent features，反复更新、偏向高频的叫 active features。PCA 显示持久特征在第 1 层更新后就钉住结构，中间几乎冻结；活跃特征一路在变，中段读出来的是残差和高频。
只改宽度不够。参数对齐的异构模型在 100 epoch 时 FID 42.7，均匀 JiT 是 42.1，略差。PerF 的动作是把这种分工用起来。
Persistent-to-active conditioning 把被绕过的持久特征留着不当 Transformer 输入，只经低秩瓶颈做成 token 级调制，加到标准 timestep 与类别 AdaLN 上，持续把当前样本的全局结构喂给活跃特征。B 和 L 用 rank 128，H 用 192，额外参数低于 5%。训练时这条通路以 0.1 概率关掉，好让同一模型能出「看得见构图」和「看不见构图」两种预测。
Persistence Guidance 沿这两种预测的差外推。CFG 放大的是外部类别条件，PG 放大的是模型内部已经成型的结构。wp 等于 1 时退回普通条件预测，大于 1 时加强结构锚定，过大质量回落。两者可以相加。默认在全程去噪区间都开 PG。
粗略构图先钉住，细笔一直能看见那张构图；采样时再把「看见构图」和「看不见」的差当成额外引导。
主实验跟 JiT 同一套优化，ImageNet 类别条件生成，600 epoch，Heun 求解器 50 步。
| 方法 | 分辨率 | FID | IS | 参数 |
| JiT-B/16 | 256 | 3.66 | 275.1 | 131M |
| PerF-B/16 | 256 | 2.81 | 288.3 | 137M |
| JiT-L/16 | 256 | 2.36 | 298.5 | 459M |
| PerF-L/16 | 256 | 1.91 | 311.2 | 471M |
| JiT-H/16 | 256 | 1.86 | 303.4 | 953M |
| PerF-H/16 | 256 | 1.63 | 324.5 | 987M |
| JiT-H/32 | 512 | 1.94 | 309.1 | 956M |
| PerF-H/32 | 512 | 1.76 | 335.3 | 992M |
B、L、H 相对 JiT 的 FID 降幅大约 23%、19%、12%。PerF-L 的 1.91 已经贴近 JiT-H 的 1.86，参数大约一半。三档 Recall 都升，Precision 基本持平或略降，更像覆盖面变好。
关掉 CFG 以后，PerF-B/L/H 的 FID 从 JiT 的 25.42、13.85、7.15 落到 12.53、5.60、3.48，收益不靠蹭类别引导。消融里异构细化单独几乎没帮助；加上 P-to-A 后无 CFG 的 FID 从 42.71 到 40.35；再开 PG 掉到 24.92，有 CFG 时 5.81，采样引导贡献最大。宽度曲线从 early 到 very late bottleneck，FID 只在 40.35 到 41.35 之间晃，对收缩位置不敏感。
主结果前 100 epoch 在持久子空间上用了 REPA。全程对齐反而更差，PerF-B 的 FID 从不用对齐的 3.10 升到 3.38，只用前 100 epoch 才到 2.81。对比专门给 JiT 做对齐的 PixelREPA，PerF 在 B/L/H 上 FID 都更好：2.81、1.91、1.63 对 3.17、2.11、1.81。单次前向 FLOPs 大约多 3% 到 5%。
像素 DiT 里「所有通道同等深度」不是必须的。可变宽度本身几乎不加分，值钱的是把少更新通道当成稳定结构条件，再在采样时当内部 guidance 用。已经在跟 JiT、PixelDiT、DeCo 的人，这是一项参数开销 3% 到 5%、可以叠在 CFG 上的增量。
它是 JiT 上的渐进改进，不是新的生成范式。没有新 tokenizer，没有新目标函数，评测停在 ImageNet 类别条件。但 PerF-L 半参数贴近 Huge 基线，说明在像素空间这条线上，结构分工可能比继续加宽更划算。
论文没有独立 limitations 节。实验只覆盖 JiT 骨干和 ImageNet 类别条件，没有 text-to-image，没有视频，也没有迁到 latent DiT。异构细化的粗细排序目前靠可视化和频谱质心支撑，换骨干会不会再现，没有验证。
CFG 加 PG 需要三次前向：无类别、有类别加持久条件、有类别关掉持久条件，采样成本高于标准 CFG。wp 过大质量回落，最佳区间要扫。主表用了早期 REPA，消融是 100 epoch、主实验是 600，「异构单独没用」这条外推到完整训练时要打折。L 和 H 上 Precision 从 0.79、0.78 降到 0.77、0.77，覆盖变好的同时保真有没有小幅退步，没有单独分析。