FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation
Guangyu Sun, Shlok Kumar Mishra, Wentao Bao, Robert Zhenheng Yang, Xiao Wang, Xiyuan Wang, Yujunrong Ma, Chen Yuan, Max Xiangjun Fan, Jun Xiao, Jianpeng Cheng
cs.CV
2026-09-15
Meta 的 FLAT 把图和文重采样到同一条连续 1D 序列，对比对齐与双向生成一起训。预训练文生图 GenEval 71.1；按任务微调后到 83.1，COCO 描述 CIDEr 138.6，检索 R@5 为 86.8 / 75.8。
对比编码器把图和文对齐成可检索的向量，下游生成却另接一套解码器，条件信号是冻住的。Stable Diffusion、SDXL、Sana 用冻住的 CLIP、T5 或 LLM 文本嵌入；LLaVA、BLIP-2 用冻住的视觉编码器再对齐一次。生成上限卡在这套不能为生成改写的表征上。
FLAT 要一条表征同时当判别描述符和生成条件：图和文进同一个连续 1D 序列，检索、描述、文生图共用前缀。
共享编码器是 Qwen3.5-2B，骨干冻住、LoRA 适配，系统提示「Represent the input」。输入后面接 256 个可学习 register token，每个 64 维，线性投影得到表征 z。图和文共用同一组 register 和投影。可训练参数大约 1140 万，不含图像解码器。
训练时对 z 做 nested dropout：每个 step 从 {1, 4, 16, 64, 256} 抽一个前缀长度 K，只把前 K 个 token 送给对比损失和两个解码器。尾部直接截掉，不用 FlexTok 那种 null embedding 填齐。同一 step 全局共用一个 K，对齐和生成看见的是同一段前缀。几何阶梯而不是连续整数，是为了少在几乎看不出差别的长度上浪费梯度。
解码端分两条。图表征经 MLP 变成软 token，前置「Describe the input」，自回归语言模型出 caption。文表征走 cross-attention，条件 SANA-1.6B 的 rectified flow，去噪 VAE latent 再解码成图。对比损失按对应位置做 late-interaction：K 个 register 的余弦相似度取平均，双向 InfoNCE。三项损失等权。
预训练约 6700 万图文对、135k step、全局 batch 1024，64 张 H200。之后按任务拆开微调：文生图再训图像解码器 8k step、12 万干净图文对；描述只训文本 LoRA 5k step；检索只训编码器 LoRA、register 和投影。
前缀长度和任务难度绑在一起。K=1 能抓住单物体和颜色，color binding 只有 0.03；K=4 到 K=16 组合类目爬到 0.67，整体 GenEval 到 0.83。检索几乎不吃宽度：COCO 图到文 R@1 从 K=1 的 63.00 到 K=256 的 63.54，256 倍宽度只动不到 1 个点。第一个 token 已经扛住全局语义。
| 设置 | 指标 | 结果 |
| 预训练，K=256 | GenEval | 71.1 |
| 微调，K=16/64 | GenEval | 83.1（MetaQuery-L 无改写为 78） |
| 微调，K=256 | COCO BLEU-4 / CIDEr | 40.5 / 138.6（BLIP-2 为 43.7 / 145.8） |
| 微调 | COCO R@5 图到文 / 文到图 | 86.8 / 75.8 |
| 冻结表征 | ImageNet linear probe | K=1 为 73.3，K=64 为 81.8（DREAM 1024 维为 72.7） |
去掉对比损失，检索塌掉（图到文 R@1 从 52.2 掉到 13.6）；去掉生成损失，GenEval 从 0.327 掉到 0.003。三项一起训才撑得住五件事。任务-only 对照在 K≥4 的 GenEval 停在约 0.60，联合预训练再抬 0.16–0.24。
几何上，单 token 就把 CLIP 的图文质心距离从 0.824 砍到 0.372，256 token 到 0.214。线性插值和 z1−z2+z3 算术在两边解码器上都能走通。零样本 CIRR 组合检索在 K=1 最强，Hit@1 为 44.0。
同一套前缀可以当带宽旋钮：检索用 64 维一个 token 就够，组合文生图再加到 16。表征连续、可插值，比离散 tokenizer 更接近 CLIP 的算术习惯，同时能直接条件生成。这是渐进工作。骨干是现成的 2B VLM 加 1.6B 流匹配解码器，卖点是联合目标加可变长 1D 接口，不是新的生成器骨架。
论文没有单独的局限节。几处数字自己会说话。83.1 GenEval 和检索数字都来自任务专用微调，不是一个 checkpoint 同时顶满三件事。描述 CIDEr 138.6 低于 BLIP-2 的 145.8 和 CoCa 的 143.6，谈不上描述榜首。检索是在 COCO / Flickr 训练集上继续对比微调后的数，不能当零样本 CLIP 分数读。插值、算术以定性图为主。任务-only 对照在 K=1 的 GenEval 还高于预训练初始化（0.60 对 0.49），短前缀的生成能力并不全靠联合预训练。算力也不便宜：预训练 64 张 H200、135k step。