Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu
ICLR 2027
cs.CV, cs.AI, cs.LG, cs.NE
2026-10-30
SpecSlot 给每个 token 固定分配一段 DCT 频段作输出角色,只让最低频 slot 进全局注意力,ImageNet-512 上以低 38% 算力把 FID 做到只差 JiT-B/16 0.69。
不做 latent 压缩、直接在像素上训练的生成 Transformer(JiT 这条线)省掉了单独训练的 autoencoder,代价是整张图都要变成 token。patch 网格同时决定模型读什么、每个 token 预测什么、多少 token 进全局注意力,三件事绑死在一个旋钮上:256×256 的图把 patch 从 16 缩到 8,token 从 256 涨到 1024,注意力的二次项涨 16 倍。此前的解法都没解开这个结,级联模型和 detailer head 把细节挪进额外组件,高效注意力用窗口或稀疏模式压缩通信,输出细节始终绑在空间网格上。
这篇的观察很直接:频率域里,低频结构承载整体组织、需要跨区域交换,高频细节基本是局部的。一个 token 该不该全局通信,该看它产出什么,不看它坐在哪。
SpecSlot 是像素空间 rectified-flow Transformer,训练目标与 JiT 完全一致(生成状态、目标、损失都留在像素空间),改动全在 tokenization 和注意力路由上。做法是把「一个 patch 一个 token」拆成显式的 W×K 分配:
设计选择都有理由:各频段的预测头共享,角色靠 slot 索引定义,不靠各频段独立参数;carrier 交给 slot 0,是因为最低频段的信号在流时间上最早越过 DNR=1、最先从噪声里冒出来;空间修正零初始化,训练从纯谱模型平滑起步。结构上的关键性质是 W 和 K 成了两个独立旋钮,全局注意力的二次项只随 W 增长,加大 K 细分频谱、提升输出细节,全局序列长度不动。
类条件 ImageNet-256/512 与 256 分辨率文生图,主表数字为五个独立训练种子的均值:
| 设置 | 方法 | FID ↓ | 条件前向 GFLOPs ↓ |
| ImageNet-256 | SpecSlot-K4 | 6.59 | 129.2 |
| ImageNet-256 | JiT-CM(算力对齐对照) | 6.68 | 124.2 |
| ImageNet-256 | JiT-B/8 | 4.34 | 218.5 |
| ImageNet-512 | SpecSlot-K4 | 9.14 | 135.6 |
| ImageNet-512 | JiT-CM | 11.98 | 141.2 |
| ImageNet-512 | JiT-B/16 | 8.45 | 219.6 |
256 上 SpecSlot-K4 与 JiT-CM 打平(差距在五种子 95% 区间内),早期 checkpoint 收敛更快;质量上限仍在 JiT-B/8 手里(4.34),代价是约 1.7 倍算力。512 上差距拉开:比 JiT-CM 好 2.84 且省 3.9% 算力,离 JiT-B/16 只差 0.69,成本低 38.2%,吞吐高 1.6 倍。文生图(BLIP3o 与 JourneyDB 混合数据、冻结 OpenCLIP ViT-L/14 做文本侧)DPG-Bench 62.21,超 JiT-B/8 的 61.15,前向成本低 40.6%;GenEval 26.99,仍输 JiT-B/8 的 29.78。
消融支撑了机制:双基输出 6.59,最好的单基 6.99,空间修正补的不是冗余;算力对齐的稠密全局注意力是 6.81,同价不如 GGLL;carrier 换成 slot 1/2/3,FID 升到 6.91/7.21/6.97,最低频段确实是最该全局通信的角色。完全全局注意力能到 5.84,但要贵 74.8%,GGLL 省下其中 42.8%。
这篇把 tokenization 从「选一个 patch 大小」变成显式的质量-算力分配问题:细节靠 K 加,全局通信成本不跟着涨。对在注意力或算力预算下训像素空间模型的人,这是一个可以直接操作的旋钮,代码和 Hugging Face 权重都已放出。诚实地说,它买到的是中间档:在 JiT 的低成本和高成本设置之间给出两个非被支配操作点,没有推高质量上限。优势随分辨率放大,512 下每个锚点覆盖的像素是 256 下的四倍,全局序列仍是 288 个 token,论文用这个锚点内分配解释分辨率越高差距越大。
算力对齐对照 JiT-CM 是作者自建的(沿用 8×8 tokenizer、128 维输入瓶颈、第 4 块插 32 个 context token、宽度 560),不是发表过的模型,核心对比建立在这个自制基线上。256 分辨率领先只有 0.09、在统计区间内,真正的差距到 512 才出现,论文也承认这组结果分离不出原因。K 的边际收益递减:K4 到 K8 只买 0.31 FID,有效 slot 占比从 K2 的 0.803 降到 K8 的 0.495,「预算多分给锚点」的结论作者声明只在测过的范围内成立。文生图只测了 256 一个分辨率,GenEval 落后 JiT-B/8 约 2.8 分;所有对照都是像素空间 JiT 系,没有与 latent 扩散主流模型直接比。