Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or Patashnik, Rami Ben-Ari
cs.CV
2026-10-16
新基准 SABER 测出多模态嵌入普遍「张冠李戴」;纯文本微调零图像,准确率 52.5%→84.2%,跨模态全涨。
多模态检索的主流做法是把查询和候选编码进同一个 embedding 空间再算相似度,每条内容只需编码一次,撑得起大规模库。坏消息是这些向量经常像词袋:知道画面里有「金色」「炮」「扎染」「潜艇」,却分不清是金色的炮配扎染的潜艇,还是反过来。查「金色炮、扎染潜艇、发光长颈鹿」,返回的候选对象全对、属性全在,配对全错。这就是 attribute-object binding 失败,CLIP 时代延续至今的老问题。
已有证据是碎的:Winoground、ARO、SugarCrepe 一类基准大多只测单一模态方向,属性词表常常只有颜色,场景基本停在两个物体交换。失败到底多普遍,量不出来。OriginAI 与 NVIDIA 等机构这篇先用一个把变量控死的基准量清楚问题,再给一个便宜的修法。
第一步是测量。SABER 用 232 个日常物体配 50 个视觉属性(颜色、材质、图案、效果),场景从 2 个物体做到 10 个。每道题四个候选:一个保住查询的属性-对象配对,另外三个拿同样的物体和属性重新洗牌。图像由 GPT-Image-2 按 CLEVR 风格生成、人工逐张筛查;每个候选同时有图和 caption,所以 T→T、T→I、I→T、I→I 四个方向都能测。总共 1,800 个查询、7,200 个候选,一半题目串成从 2 长到 10 的嵌套链;除四选一外,还能把全部候选混进同一个 7,200 的大库做检索。
第二步是修。用 Gemma 4 生成 10 万条纯文本样本:查询是「red banner and torn flag」这样的短语,正例是一句把绑定写进语境的完整句子,负例靠交换属性或交换名词构造,和正例词完全相同、只有绑定不同。数据分七种句式,包括属性和名词隔得很远、要靠指代或词序才能还原绑定的难例。训练用 cosine 相似度上的 triplet loss,LoRA 只挂在注意力投影上(rank 4,8B 模型可训练参数 3.8M),视觉塔冻结,单张 B200 跑一个 epoch。
纯文本能管到图像,靠的是 MLLM 嵌入模型的骨干跨模态共享:文本三元组更新的权重同样参与图像编码。训完用 LiNeS 按层缩放更新幅度,防止预训练能力被冲掉。附录的对照里,同规模的图文微调在跨模态迁移上还不如纯文本。
| 设置 | Qwen3-VL-Embedding-8B | 微调后(8B) |
| SABER 四选一均值 | 52.5% | 84.2% |
| T→T / T→I / I→T / I→I | 53.7 / 34.9 / 36.3 / 84.9 | 99.3 / 69.0 / 74.1 / 94.3 |
| 大库检索 mAP(独立题) | 71.9% | 91.1% |
| 大库检索 mAP(嵌套题) | 38.3% | 54.1% |
四选一瞎蒙是 25%。CLIP ViT-B/32 均值 43.6%,专为组合性训过的 TripletCLIP 掉到 38.1%;均值最强的预训练模型 Qwen3-VL-Embedding-8B 在最简单的 T→T 上也只有 53.7%。绑定失败不分模型家族、不分模态方向。
零图像监督的收益出了 SABER:9 个外部绑定基准、12 个设置全部第一,平均比 Qwen3-VL-Embedding-8B 高 15.4 分,SugarCrepe++ 文本方向 +22.8,ColorSwap 文图方向 +33.9。182 个任务的 MMEB-v3 上,8B 模型总分还涨 0.5(2B 掉 0.5)。NegBench 否定理解 COCO 子集 +9.3 分;实例检索 9 个设置全涨,+2.1 到 +9.9 mAP,ILIAS 图查图从 58.5 涨到 68.4。
消融排除了背词表的解释:训练数据完全避开 SABER 词表重训,T→I 仍从 34.9 涨到 65.7。去掉 LiNeS,SABER 能再涨 9.4 分,代价是 MMEB-v3 从 55.2 跌到 47.8。同一配方搬到 UEmbed 和 WeMM-Embedding(2B/9B)都有效,WeMM-9B 的 T→I 从 30.6 涨到 58.7。
双塔嵌入是大库检索的标准形态,reranker 逐对打分在百万候选下用不起,短板只能补在嵌入里。绑定错误对应直接的业务事故:搜「黑色背包」返回别的颜色,图库检索配对全错。修法便宜得反常:10 万条合成文本、3.8M 参数、单卡一个 epoch,不碰一张图,跨模态绑定跟着一起好。对做嵌入模型的团队,这是一条可以直接抄的路线:针对具体短板造结构可控的文本难例,比配图数据便宜一个量级。注意力分析补了个机制线索:基础模型在前 18 层其实算出了绑定信号,到 18-26 层塌掉,微调主要把这个信号保住、送进最终向量。
作者承认 SABER 全合成,生成图像可能带预期外的外观和布局差异。没修好的地方也明显:T→I 只有 69.0,视觉侧仍是最弱方向;嵌套检索 54.1,「查询的绑定出现在更大场景里」这类包含关系是独立的剩余难题。NegBench 纯否定组准确率只有 6.8%,远低于三选一 33% 的瞎蒙线,涨分主要来自「有 A 没 B」混合句式;消融显示这更接近绑定能力的迁移,不是学会了否定。MMEB 总分持平的表面下,8B 的图像任务掉 1.2、视频掉 0.9,靠 agent 任务 +3.2 拉平。评测图和训练文本都出自闭源生成模型;自然图像上的验证集中在 VG-Attribution、SugarCrepe 等几个设置,覆盖不如合成部分全。