G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
Xu Huang, Ye Huang, Xiaotong Li, Zhengrong Yue, Jialv Zou, Minhao Jing, Haodong Li, Wenhao Yan, Yaxin Luo, Duomin Wang, Daquan Zhou
cs.CV
2026-11-09
乘积量化下组大小随压缩按平方增长。32 倍的 8B 模型单卡 2.5 秒出 1024 图，五项文生图仍具竞争力，比此前离散自回归快约 20 倍。
离散自回归按 token 顺序生成图像，延迟跟着序列长度走。边长从 512 增到 1024，token 数变为四倍。扩散模型每个去噪步并行更新所有空间位置，高分辨率上两边的延迟差会被放大。
把空间压缩从常见的 16× 提到 32×、64×，全局步数随压缩倍数的平方下降，每个格子却要扛更大一块画面。单码本盛不下这些信息。改用多码本之后，组内若干个码互相依赖，解码若仍逐码重跑网络，省下的步数会在头里还回去。
配平用的是乘积量化：一个空间特征按通道切成 G 组，每组在大小为 K 的码本里独立取一个码。格子数不变，该位置的组合数是 K 的 G 次方。
名义预算写成三截。单边压缩 s 倍时，全局步数是 HW/s²，每步比特是 G·log2 K，整图预算是两者相乘。s 乘以 α、G 乘以 α 的平方，预算保持不变，步数变为原来的 1/α²。这个量是名义比特，由码的个数推出来，保真和语义要另测。
GSTAR-Pro-8B 走原生 32×，G=16，编码器从 Qwen-ViT 初始化。损失包括像素、感知、对抗重建、向量量化、对 Qwen-ViT 特征的语义对齐，以及 Gram loss，用来对齐输入与重建特征的二阶相关。GSTAR-Flash-1.7B 不新训 64× 量化器，把 32× 且 G=8 的格子做 2×2 无损打包：四个位置并成一个全局步，每步 32 个码，序列缩短为四分之一，像素解码前拆回原网格。这里 α=2，不新增量化误差。
组内不能独立抽样。全因果头每预测一个码就重跑完整网络，延迟随 G 线性增加。全并行头一次输出全部码，各码只看骨干上下文，组合时会撞上互斥模式，论文称之为 multimodal collision。半自回归头让多层干路对所有槽位算一次特征，再用单层、带 KV cache 的因果 Transformer 顺序采样。重计算只发生一次。
两套生成器都经过预训练、继续训练和监督微调，分辨率逐段升高。大模型的数据量和总步数写在附录，正文未给。
五项文生图覆盖组合、稠密提示、综合分、文字和总体遵循。PRISM 为英文综合分，裁判是 Qwen2.5-VL-72B，由 0–100 改标到 0–10。LongText 取英文子集。
| 模型 | 压缩 | 参数 | GenEval | DPG | PRISM | LongText | Qwen-Image |
| GPT Image 1 | 未披露 | 未披露 | 0.84 | 85.15 | 8.07 | 0.956 | 54.07 |
| Qwen-Image | 16× | 20B | 0.87 | 88.32 | 7.41 | 0.943 | 49.23 |
| Emu3.5 | 16× | 34.1B | 0.86 | 88.26 | 7.52 | 0.976 | 49.89 |
| BitDance | 16× | 14B | 0.86 | 88.28 | 7.19 | 0.837 | 45.19 |
| Janus-Pro | 16× | 7B | 0.80 | 84.19 | 6.21 | 0.019 | 23.53 |
| GSTAR-Pro | 32× | 8B | 0.84 | 83.38 | 6.98 | 0.935 | 50.07 |
| GSTAR-Flash | 64× | 1.7B | 0.76 | 80.18 | 6.81 | 0.853 | 46.88 |
Pro 的 LongText 为 0.935，与 16× 的 Z-Image 持平，接近 Qwen-Image 的 0.943 和 Emu3.5 的 0.976，高于 Janus-Pro 的 0.019。Qwen-Image-Bench 为 50.07，高于 Emu3.5 的 49.89 和 Qwen-Image 的 49.23，低于 GPT Image 1 的 54.07。GenEval 为 0.84，与 GPT Image 1、Seedream 3.0 持平，低于 BAGEL 的 0.88。DPG 为 83.38，低于 Janus-Pro 的 84.19。PRISM 为 6.98，落后 Emu3.5 的 7.52。Flash 五项都更低，GenEval 为 0.76。
1024 分辨率、单卡 H200，优化后的系统单张 2.5 秒。摘要相对此前离散自回归给出约 20×。图中分项是 Flash 对 Janus-Pro-7B 的 21.04×、对 BitDance-14B 的 21.57×，以及 Pro 对 Emu3.5-34B 的 8.36×。
Flash 的累计优化拆得更开：因果头 22.23 秒，半自回归头 14.93 秒（1.49×），加上 CUDA Graph 后 5.85 秒（2.55×），kernel fusion 后 3.37 秒（1.74×），接入 SGLang 后 2.50 秒（1.35×），合计 8.9×。
K=16384、压缩锁定 32× 时，G 从 1 增到 32，重建 rFID 从 2.0624 降到 0.4325，线性探测从 81.45% 升到 84.55%，生成 gFID 却在 G=32 落到 17.05。G=16 的 gFID 为 5.7388，好于 G=8 的 6.3773。训练曲线上 G=16 约 25k step 后才反超 G=8。较小的文生图设定里，模型从 Qwen3-1.7B 初始化，分辨率 512，预训练 100k step，序列长度 8192，全局 batch 32，再加一个 epoch 的 SFT。此设定下 G=16 的 GenEval、DPG、PRISM 为 0.8386、82.48、5.46，G=8 为 0.8060、82.49、5.30。
同一设定、512 分辨率下三种头的对比如下。
| 头 | GenEval | DPG | PRISM | 延迟 |
| 因果 | 0.8386 | 82.48 | 5.46 | 6.44 秒 |
| 并行 | 0.7800 | 79.98 | 4.72 | 1.77 秒 |
| 半自回归 | 0.8253 | 82.60 | 5.46 | 3.41 秒 |
半自回归的 PRISM 与因果相同，GenEval 低 0.013，延迟从 6.44 秒降到 3.41 秒。并行用 1.77 秒，PRISM 掉到 4.72。
GEdit-Bench 英文全集上，Pro 的语义一致性、观感、总分是 7.85、7.45、7.45。总分靠近 Emu3.5 的 7.59、Qwen-Image-Edit 的 7.56 和 GPT-Image-1 High 的 7.53，语义一致性与 GPT-Image-1 High 同为 7.85。
1024 的图在 32× 下有 32×32=1024 个全局步，有效 64× 下是 16×16=256 步。Flash 相对 32× 且 G=8 的配置，把步数降到四分之一，每步码数乘四，名义预算不动。8B 模型把文字渲染留在 0.935，1.7B 模型还有 LongText 0.853，出图进到 2.5 秒。
这条线适合已经使用离散 token、又被高分辨率步数卡住的生成接口。榜上它推进的是压缩和延迟。五项里没有一项同时高于 GPT Image 1 和 Emu3.5。
G=32 的重建和线性探测最好，生成 FID 差到 17.05。平方规则守住的是名义比特。生成器能不能拟合这些码，取决于训练是否跟得上。Pro 用 G=16，是测出来的工作点。
2.5 秒不能全记在压缩上。半自回归头相对因果头只有 1.49×，从 14.93 秒到 2.50 秒来自 CUDA Graph、算子融合和 SGLang。约 20× 比的是 16× 的 Janus-Pro-7B 和 BitDance-14B，参数量、序列长度和推理栈混在同一次对比里。主文没有同硬件、同采样协议的延迟表。
有效 64× 是打包。量化器仍是 32×，解码前要拆回原网格。正文没有证明原生 64× 量化能保住同样的 rFID。
Pro 的 DPG 低于 16× 的 Janus-Pro。PRISM 裁判是 Qwen2.5-VL-72B，编码器初始化自 Qwen-ViT，两边同属一个模型家族，正文没有讨论这种重叠。主文没有人工评测。模态碰撞只由三项下游分数支持，没有单独的碰撞率。