What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
Tengju Ru, Weitong Lian, Zecong Tang, Zhiheng Liu, Lingyi Meng, Haoran Li, Kaixuan Wang, Bohao Li, Xihui Liu
cs.CV
2026-10-14
GAFU把统一模型的生成侧表征压成256个G token,理解通路按题目检索细节。三个模型、五项基准平均比同数据SFT高3.56到5.98个点,十五组全部胜出,VStar相对涨幅最高到20%。
统一多模态模型（UMM）把看图和画图放在同一网络里，视觉编码器却常是两套。理解侧多用 CLIP 或 SigLIP，先对齐语言，再把画面压成少量语义 token，局部属性、小物体和空间关系进语言模型之前就被压薄。生成侧多用 VAE 或 VQ-VAE，要把图还原出来，结构、位置和局部细节留得更密。
用生成帮理解，现有路线分两支。一支用生成损失改表征或隐状态，不读原生的生成侧特征，两套通路要的表征不同，硬拉到一起会冲突。另一支推理时先画中间图再理解，多一轮时间和误差，有的还把结果重新编码回理解空间，瓶颈回到原处。
细粒度理解差，差在证据进不了理解通路。生成通路里往往还留着这些证据。
测量先于训练，做在六个 UMM 上：BAGEL、Janus-Pro、Lance、Show-o2-7B、BLIP3-o-4B、DreamLLM-7B。材料是 VisMin 的 2084 对最小改动图，覆盖物体、属性、数量、关系。每处语义编辑配一张对照，区域相同，线性 RGB 均方幅度对齐，排除对像素噪声的敏感。
24 个模型与领域组合里，生成侧的对照校正敏感度全部高于理解侧，数量上优势最小，属性、物体、关系上更大，长边 128、256、512 时缺口仍为正。强响应指语义编辑的局部响应超过对照两倍。只在生成侧强响应的样本平均 28.18%，只在理解侧的 2.48%，净差 25.70 个百分点，24 组同向。编码前按 64×64 块打乱，敏感度缺口 24 组全部缩小。优势依赖原来的空间布局。
GAFU 是后训练，原生编码器冻结。生成特征投影到 1024 维，与 256 个可学习 query 进入 6 层 Transformer（8 头，2D RoPE），聚成 256 个 G token，再投到理解通路宽度。BAGEL、Janus-Pro、Lance 上为 3584、4096、2048 维。解码器从 G 重建生成表征，再经冻结生成通路还原图像。此段用 Cambrian 的 100 万张图。
损失三项对着测量结果。重建是图像 L1、0.5 倍 L2 与 0.5 倍 LPIPS（感知距离）。空间绑定不走解码器，每个 G token 用线性头预测同一格点的生成目标。关系对齐不匹配特征值，把 G 与理解侧表征 U 池化到 4×4、8×8、16×16，外加整图节点，只对齐结点间的余弦关系。
理解通路每一层后做交叉注意力：当前文本隐状态为 query，G 为 key 和 value，残差写回文本。位置编码与理解侧视觉 token 一致，输出投影零初始化。正样本用匹配当前图的 G，负样本换另一张图的 G，问题和 U 不变。损失为答案交叉熵、CE 空间成对 DPO，以及负分支相对「只看 U 的冻结原模型」的前向 KL。正负 DPO 梯度 4 比 1，负梯度范数封顶为正侧 0.25 倍，KL 权重 5000 步内从 1 收到 0，避免靠做崩负分支拉大分差。训练前期以最高 0.8 的概率遮住 U，后期恢复，并解冻压缩器，与理解通路 LoRA（rank 与 alpha 均为 16）同训。下游与 SFT 同数据：FineVision 相关分不低于 3 的非纯文本 1344016 条，VSR 7680 条，PathVQA 19654 条。
主实验为 BAGEL 14B、Janus-Pro 7B、Lance 3B，对照是同数据 SFT 和未微调基座。VStar-Bench、OmniSpatial、MMVP 取候选答案平均 token 交叉熵最低者，不是自由生成。VSR-Bench 为真假贪心生成，PathVQA 为贪心解码后的归一化精确匹配。
| 模型 | 设置 | VStar | OmniSpatial | MMVP | PathVQA | VSR | 平均 |
| BAGEL 14B | 基座 | 36.65 | 30.79 | 71.67 | 39.27 | 69.98 | 49.67 |
| BAGEL 14B | SFT | 39.27 | 31.90 | 74.00 | 51.42 | 71.39 | 53.60 |
| BAGEL 14B | GAFU | 47.12 | 34.51 | 79.67 | 59.07 | 77.54 | 59.58 |
| Janus-Pro 7B | 基座 | 31.94 | 25.64 | 54.67 | 16.91 | 55.72 | 36.97 |
| Janus-Pro 7B | SFT | 33.51 | 27.14 | 54.67 | 51.75 | 57.54 | 44.92 |
| Janus-Pro 7B | GAFU | 38.74 | 31.57 | 59.67 | 52.87 | 59.54 | 48.48 |
| Lance 3B | 基座 | 35.60 | 23.87 | 50.33 | 11.43 | 52.07 | 34.66 |
| Lance 3B | SFT | 36.13 | 24.72 | 50.00 | 43.04 | 53.26 | 41.43 |
| Lance 3B | GAFU | 42.41 | 29.16 | 53.67 | 46.91 | 54.35 | 45.30 |
15 组全部高于同数据 SFT。五项平均涨幅为 Janus-Pro 3.56、Lance 3.87、BAGEL 5.98 个点。最大相对提升为 VStar 20.00%（BAGEL 从 39.27 到 47.12）、OmniSpatial 17.94%（Lance 从 24.72 到 29.16）、VSR 8.62%（BAGEL 从 71.39 到 77.54）。VStar 绝对增益为 +7.85、+5.23、+6.28。MMVP 上 SFT 对 Janus-Pro 零增益，Lance 从 50.33 降到 50.00，GAFU 分别到 59.67、53.67。通用三项里，GAFU 超过 SFT 的幅度都大于 SFT 超过基座的幅度。PathVQA 上 SFT 已经拉开基座，GAFU 再加 1.12 到 7.65 个点。
消融只在 BAGEL 上做。去掉空间绑定，OmniSpatial 从 34.51 降到 33.14；去掉关系对齐，VStar 从 47.12 降到 45.55。MMVP 上两项并用比单用高 4.67 到 5.34。G 与理解 token 拼接低 1.96 到 6.28；用理解侧视觉 token 当 query，OmniSpatial 掉到 22.37，低于基座 30.79。文本隐状态当 query 最好。10 层注入距 27 层全注入只有 0 到 1.67。只加 DPO、不加 KL，VStar 与 MMVP 升 1.05 和 8.00，OmniSpatial 从 33.33 掉到 22.24；补上 KL 后三项回升 3.14 到 12.27。
涨点来自同一份问答上多接了模型里已有的生成表征，标注没有增加。训练的是压缩器、注入层和理解通路 LoRA，从 Lance 3B 到 BAGEL 14B 都成立，推理时不用先画中间图。
MMVP 只做 SFT 不动甚至变差，接上 G 才动，瓶颈更靠近视觉表征。平均约 4 个点，最小的单项约 1 个点。KL 拿掉后空间分会崩，这套损失要一起留。
论文自述三条：只覆盖主流双通路编码器，接口不同要另做适配；收益随原生生成表征的质量变化；抽取、投影、注入 G 比单走理解通路更耗计算和显存，但没给延迟或显存数字。
分析有六个模型，GAFU 只训了三个。VStar 仅 191 题，BAGEL 的 +7.85 大约多对 15 题，没有多种子。三项主榜按候选交叉熵打分，自由生成下名次未必相同。生成式监督和推理时画中间图没有同榜对照。数量是生成侧优势最小的领域，五个榜未按属性、物体、数量、关系拆开。压缩阶段另用了 Cambrian 的 100 万张图，学 G 的图像与 SFT 并不相同。PathVQA 只作研究评测，论文写明不能支持临床决策。