自回归图像生成为何总输给扩散模型?尺度不变性或是关键

burkov · x · 2026-11-08

Andriy Burkov 解析自回归图像生成的核心难题:逐 token 从左到右生成图像(类似 LLM 生成文本)对构建统一文本/语音/视觉系统极具吸引力,但用标准图像自编码器产生的连续 latent 时,自回归模型一直落后于扩散模型和双向掩码生成器。

根本原因在于标准连续 latent 在不同维度和 token 间尺度差异巨大,序列生成时这些尺度偏差逐被放大,classifier-free guidance 等引导方法又进一步加剧失稳,最终导致生成失败与画质劣化。文章给出的解法是在整个自回归生成过程中强制尺度不变性(scale invariance)。