Adversarial Training for Pixel Diffusion
Xin Lin, Zhifei Zhang, Yuqian Zhou, Haitian Zheng, Zhe Lin, Ming-Hsuan Yang, Truong Nguyen
cs.CV
2026-09-30
像素扩散加对抗后训练，DeCo FID 从 33.27 降到 28.59，斜率收到 2.24；同一流程对 latent 扩散几乎无效。
像素扩散直接在 RGB 上出图，不再经过 autoencoder。语义和粗构图已经能跟上 prompt，细尺度统计量却系统性偏少，输出发糊、欠纹理。DeCo 在 COCO 上的径向功率谱斜率 α=2.59，真实图大约 2.19。α 越大，功率随频率掉得越快，图越软。
像素模型没有 decoder 夹在中间。糊的是去噪器没把自然图该有的高频做出来。现有 T2I 栈里，GAN 多半用来训 VAE decoder，或给一步蒸馏当分布匹配。这篇把对抗损失做成后训练，补已经收敛、多步采样的像素扩散，并且不拿分布保真、覆盖和 prompt 对齐去换。
从公开 checkpoint 接着训。原来的 diffusion 或 flow-matching 损失保留，再对预测干净图 x̂0 加 hinge 对抗损失。结构、采样步数、推理流程都不动。没有 preference 标签，没有 reward model，也不做蒸馏。
判别器打的是 x̂0。高噪声时这张干净估计轮廓还没稳，GAN 会把细节涂到错误形状上。所以只在非高噪声步启用，要求信号占比 αt=1-σt 超过门控阈值。沿采样轨迹把残差拆成低频结构带和高频细节带，1000 条 prompt 平均下来，结构残差大约在 t≈0.35 已经变平，细节残差要接近 t=1 才消失。过早开会涂错结构，门控太紧（t≥0.8）几乎没剩 refinement 步。主配置用带文本投影的 DINOv2 判别器，门控取 t≥0.53，对抗权重 w=0.1。
像素骨干是 DeCo 和 PixelGen，latent 对照是 PixArt-α（0.61B）和 SANA（1.6B）。数据都是 BLIP3o-60k。每个骨干的 +GAN 和 no-GAN SFT 共用起点、数据和训练时长。像素侧判别器直接看 RGB；latent 侧分别打在预测 latent，或冻结 VAE 解出的 RGB 上。
DeCo 上四类指标一起动：FID 33.27→28.59，pFID 27.91→24.38，CMMD 0.836→0.736，recall 0.361→0.406，DPG Score 81.6→83.3，TOPIQ 0.711→0.768，MANIQA 0.636→0.712。PixelGen 全线改善，分布侧步子小，FID 只从 33.94 到 33.20；recall 从 0.319 到 0.403，DPG 从 78.4 到 80.8。
| 方法 | FID ↓ | DPG ↑ | recall ↑ | 频谱斜率 α |
| DeCo no-GAN | 33.27 | 81.6 | 0.361 | 2.59 |
| DeCo +GAN | 28.59 | 83.3 | 0.406 | 2.24 |
| PixelGen no-GAN | 33.94 | 78.4 | 0.319 | 未报告 |
| PixelGen +GAN | 33.20 | 80.8 | 0.403 | 未报告 |
真实 COCO 的 α 约 2.19。DeCo 中频功率占比 4.9%→7.5%，高频 2.1%→3.9%，高频 log 功率 +0.34 dex，斜率收到 2.24。
给 no-GAN 输出做频谱对齐的 unsharp mask，FID 最好只到 32.3。感知损失（LPIPS+DINO）也能加高频，DeCo 上 TOPIQ 升到 0.749，但 FID 恶化到 34.1、DPG 掉到 81.4。DPG-Bench 上饱和度、对比度、色彩丰富度从 0.532/0.240/0.260 掉到 0.511/0.210/0.221；GAN 把这三项保住，Laplacian 锐度从 0.0076 拉到 0.052。从官方预 SFT 权重起跑，DeCo 的 DPG 感知损失走到 81.2，GAN 走到 83.4。训练集最近邻相似度均值两边都是 0.586，GAN 最大值 0.929 对 0.943，加上 recall 上升，不像背图或砍 mode。
接到测试过的 latent 配置上，给不出这种联合增益。SANA 的 self-GAN 把 FID 从 36.58 微降到 36.24，DPG 几乎不动；解码 RGB 上的 PatchGAN 把 DPG 打到 79.7、FID 升到 40.95。PixArt 的 self-GAN 把 DPG 从 73.3 抬到 75.5，FID 从 33.70 升到 35.08；解码 RGB 加 DINOv2 让 recall 从 0.433 掉到 0.188。解码后高频占比：SANA 2.2%→2.3%，PixArt 2.1%→1.9%，斜率变得更陡。对冻结 PixArt VAE 做匹配扰动，解码高频响应比像素恒等映射弱 3.5 到 11 倍；VAE 编解码本身就把真实图斜率陡到 2.48、削掉约 0.2 dex 高频。
从零训的 PatchGAN、StyleGAN 判别器 FID 停在 32.5-33.5；冻住的 DINOv2、DINOv3、SigLIP 才能把 FID 打到 28.6-31.0。加大 w 单调抬无参考锐度，中低权重更护分布和对齐。没有包打全部指标的设置。
对已经在做像素 T2I 的团队，这是一条不改采样、不加 reward 模型的后训练补丁。需要冻住的预训练判别器，并按目标指标选噪声门和 w。目标是分布、对齐和观感一起要时，GAN 比 LPIPS 这类感知损失更对口；只追无参考锐度可以把 w 加大，分布会让出去。
边界更硬。对抗项改的是生成器的原生输出。像素模型的输出就是要修的 RGB 统计，所以补得上。latent 模型隔着冻结 decoder，修 z 几乎传不到解码后的高频。VAE 在 tokenizer 阶段已经用过 patch-GAN，再在扩散阶段对 latent 打一次，补不回同一类细节。像素扩散重新变热的一个具体理由：这条后训练通道是通的。
这仍是质量修正，不改骨干，也不减采样步数。
论文没有单独的 Limitations 节。边界实验就是主要自述：测试过的 PixArt-α 与 SANA 配置给不出像素侧那种联合增益。消融被写成用来暴露趋势，不是找出全局最优配置。
没验证的缺口也清楚。只有两个像素骨干、同一份 BLIP3o-60k，没有换数据规模，没有报后训练算力。latent 侧试了 self-GAN、feature-PatchGAN、解码 RGB 三种放置，没有解冻 decoder 一起训。和 ADD、DMD 这类蒸馏 GAN，以及 T2I 的 DPO / reward fine-tune 没有直接对照，这条后训练和偏好对齐谁先做，论文没回答。门控阈值和 w 会改指标排序，线上必须按目标重扫。