斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力

HirokatuKataoka · x · 2026-10-16

Li Fei-Fei、Gordon Wetzstein 等人指导的斯坦福/MIT/密歇根论文《Generative Representation Learning for Scalable Latent Tokenization》提出一种面向生成建模 tokenizer 的自监督表征学习方法。

核心内容:

图像生成常用 DINO 等预训练编码器做 tokenizer,但它们可能丢弃对生成重要的视觉细节
该方法通过学习到的生成模型,用条件预测间的信息差来分解逐点互信息,以此监督表征损失,从理论上和实证上论证了其可避免 DINO、LeJEPA 等方法会出现的维度坍缩与特征抑制
ImageNet 上在相近总算力下将 FID 从 2.36 降到 2.18(JiT-L,FID-50K 2.18),首次分析了 tokenizer 与生成模型的合并 flop 效率,证明比像素空间直接扩散更算力最优
缩放律外推显示:tokenizer 编码器训练比 DINOv2 省 7 倍 FLOPs(ImageNet)、比 WebSSL 省 8 倍(GPIC 文生图数据集),且表征质量可随算力可预测地提升

代码已开源。

「多模态」频道最新