88% 能画对,0% 能答对:统一多模态模型的视觉知识说不出口

Can Visual Generation Expand What Unified Multimodal Models Know?

Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang

cs.CV, cs.AI

2026-10-15

KTP 受控实验:图像生成注入的知识大多画得出、说不出,交错图文对齐把 GLM-Omni 答题均值提到 26.9%。

这篇在解决什么

统一多模态模型(UMM,同一个模型兼顾图像理解与图像生成)的核心叙事是生成与理解互相增强。但支撑证据多停在 benchmark 层面:Janus-Pro、BAGEL 在两套评测上各自分数不低,却回答不了一个更具体的问题:画某样东西的过程中学到的知识,之后能不能用语言说出来。Modal Aphasia 研究已经给出反例,模型微调后能复现视觉概念,却难以言传。这篇要把这条缝量化:只通过图像生成训练注入的知识,纯文字问答能取出多少。

难点在控制。预训练语料几乎什么都见过,不做隔离就会把「本来就知道」误记成「从图学来」。

方法

KTP(Knowledge Transfer Probing)把知识做成可注入、可考查的单元:

• 每个知识单元是(实体,属性,值)三元组,比如「Arvenbrock 的球衣号码是 10」。实体全部虚构,放进虚构世界 MagicWorld,与预训练分布拉开距离,避免「苹果是红的」这类先验漏进来;属性值分布也做了均衡。
• 覆盖 7 类视觉属性:颜色、数量、形状、空间、大小、数字、文字。每类 50 个单元,每单元约 25 张不同场景的渲染图,共 8552 条 T2I 训练数据。caption 只提实体和场景,属性值只出现在图里,另有 LLM 审查防止泄露答案。
• 训练是普通 T2I 微调,配 1 万条与目标无关的 QA 只教回答格式。测试是纯文字问答,不给图。
• 同时测「视觉可达性」:让模型生成图,VLM 裁判判断属性值画对没有。两个口径一对比,就能区分「没学会」和「学会了但取不出来」。

三个模型架构刻意拉开:BAGEL 走 MoT 双分支,SenseNova-U1 直接建模像素、不用独立视觉编码器和 VAE,GLM-Omni 从 GLM-4.1V-Thinking 底座初始化、用离散图像 tokenizer。

增强实验里,实体对半分成对齐集和测试集。对齐集每个实体加 10 条纯文字 QA(文字对齐),或者加一条「先生图、再看图、再作答」的完整响应(交错图文对齐);测试集永远只有 T2I 监督,考的也是纯文字问答。测试集涨分才算迁移泛化到了没教过的实体。

结果

• 直接迁移很弱。文字均值 8.86%-20.00%,只有 SenseNova-U1 在多数类别压过随机基线,BAGEL 和 GLM-Omni 基本贴着基线走。
• 视觉远高于文字。SenseNova-U1 在 number 类视觉 88%、文字 0%;三模型视觉均值 31%-61%,文字同口径只有 8.9%-20.0%。
• 交错对齐让三个模型平均分都涨,GLM-Omni 涨最多(12.57→26.86,shape 12→64,spatial 0→40)。纯文字对齐在 GLM-Omni 上反而从 14.57 跌到 12.57。
• 消融实验把交错样本里图像部分的 loss 掩掉,GLM-Omni 均值从 26.86 掉回 13.71,说明起作用的是图生成监督本身,不是回答格式。
• 推理期换 Visual CoT(先画一张图再看着答):GLM-Omni 均值 26.86→41.14,number 类三模型从 0% 分别升到 4%、36%、20%。
• 关联分析:图画对的单元更容易答对,但交错对齐之后,生成正确的条件下答对率仍全部低于 50%。

为什么重要

「生成与理解互益」第一次拿到单元级的受控证据:图像生成训练确实能装进文字语料没有的知识,只是大部分锁在视觉通道里。对从业者有三个直接含义:图文监督的组织方式(交错单响应对比分离样本)对迁移量级影响很大,是 UMM 数据配比的真实杠杆;Visual CoT 不改训练就能白拿几个点;number、text 这类「图里嵌文字」的知识几乎零迁移,数据设计时要单独处理。

局限与存疑

作者列了三条:只在虚构合成数据上验证,自然图像未测;架构效应未隔离,三个模型连训练步数和数据配比都不同,跨模型差异不能归因给架构;对齐数据与推理策略仍有空间。读下来另有几处存疑:7 类全是低层视觉属性,没有语义或事实性知识,外推要谨慎;视觉可达性由 VLM 裁判,数字带着裁判的噪声;交错对齐并非全类别受益,SenseNova-U1 的 color 从 20.0 跌到 4.0,平均分掩盖了单类回退;number、text 在测试实体上几乎全为 0%,直接教过的对齐实体却能答到 72%-96%,直接教会和看图学会之间隔着一条硬断层。

术语

• UMM(统一多模态模型):同一个模型兼顾图像理解与图像生成。
• KTP(Knowledge Transfer Probing):这篇提出的受控协议,只用 T2I 训练注入知识,用纯文字问答测取用。
• 文字/视觉可达性:纯文字问答的答对率;生成图像被 VLM 判定画对属性值的比例。
• 交错图文对齐:把生成图、看图、作答拼进同一条训练响应的监督形式。
• Visual CoT:推理时先生成相关图像、再据图作答的解码方式。
• Modal Aphasia:已有研究命名的现象,统一模型能复现视觉概念却难以言传。

原文与代码

• arXiv 2610.21459v1
• PDF
• Hugging Face
• GitHub · https://github.com/kevinlllee/Knowledge-Transfer-Probing

相关论文

• 清华微软砍掉 REPA-E 扩散分支,噪声潜变量预测让 VAE 生成均分 +2.19
• 不用一张训练图,纯文本微调把多模态绑定准确率拉高 31.7 分
• 用近千万合成样本训出 OmniXRef，相机旋转误差 0.874 弧度
• F²SLAM把未标定Replica的ATE降到0.002米
• OpenMOSS 开源 5B 文生图,千字长文渲染覆盖 96.3%
• mask 损失直通视觉主干,小米 4B 多模态指代理解平均涨 5.6 分

全部论文解读