PRA提升像素自回归图像生成
机器之心 · wechat · 2026-07-13
### PRA：改进像素空间自回归图像生成 北京大学和深势科技提出了 **Parallel Rollout Approximation（PRA）**，目标是解决像素空间自回归图像生成长期效果不佳的问题。作者通过系统实验指出，pixel-space AR 的两个主要瓶颈分别是： - **高维像素 token 单步预测难**：token 维度越高，AR 的 FID 恶化越明显； - **训练与推理不一致**：训练时看到的是干净前缀，推理时却要依赖自己生成的“非完美输入”，误差会不断累积。 ### 核心思路 PRA 从两端同时改造： - **输出端**：不直接预测高维像素 patch，而是先预测一个**低维中间态**，再解码回像素空间，从而降低单步生成难度； - **输入端**：训练时用并行构造的 decoded pixel inputs 近似 rollout 过程中的输入分布，缓解 teacher forcing 和推理分布不一致的问题。 ### 实验结果 在 ImageNet-1K 256×256 类条件生成任务上，PRA 显著提升了 pixel-space AR 的性能： - **PRA-Small（135M）**：FID **2.58**，超过了 1.9B 参数的 FARMER-1.9B/8（FID 3.60）； - **PRA-Base（250M）**：FID **2.21**； - **PRA-Large（511M）**：FID **1.94**，刷新 pixel-space AR 的最佳结果。 ### 额外发现 论文还在 ImageNet linear probing 上评估了表征能力，**PRA-Large 的 top-1 accuracy 达到 68.80%**，说明这种端到端 pixel-space AR 不仅能生成图像，也能学到较强的视觉表征。