预训练光栅扫描自回归图像模型改造为任意顺序生成器

Rishav Pramanik · hf · 2026-10-31

Stony Brook 大学与蒙特利尔 ÉTS/LIVIA 的论文提出,预训练的光栅扫描自回归图像模型可以通过未来感知位置嵌入和顺序课程学习,被改造成灵活的任意顺序生成器,从而支持 inpainting 和 outpainting,且只需极少的额外计算。论文指出离散扩散等现有方案需从头训练多种 token 顺序、代价约为标准光栅扫描训练的 3 倍,且失去 KV caching 与 vLLM 等自回归推理生态的兼容性;而预训练 AR 模型已经学到了图像 token 的联合分布,缺的只是以非顺序条件表达该分布的能力。