Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
Ziqi Wen, Parsa Madinei, Miguel P. Eckstein
NeurIPS 2026
cs.CV, cs.AI
2026-05-13
抹掉物体后看描述变了多少来给物体打分,19个VLM找出人类关键物体的命中率只有57%到65%,低于人与人一致的73%,主因是过度依赖物体面积。
已有的分类对齐里,准确率可以接近,两边靠的线索却常常不同。场景描述问的是另一层:好几个物体同时在场,谁撑起了「这张图在讲什么」,准确率不给答案。
闭源 VLM 用不了梯度。注意力即使看得到,也只是相关。热图亮的区域,删掉之后描述未必变。要知道一个物体的语义分量,只能把它拿走。
CSS(反事实语义显著性)用干预定义重要性。强制移除物体 o,写成 do(o=∅),看原图描述和删后描述的语义距离。距离大,物体就关键。实验在 UCSB 完成。
删得干不干净,决定后面量到的是语义还是补全痕迹。
模型对每张图写 5 条描述。Jasper 做句子嵌入,CSS 等于 1 减两组描述两两余弦相似度的均值。人改成被试间:同一场景的各个版本分给不同组,每组约 10 人,没人连看两版,避免记住被删物体。
图来自 OSIE 的 700 张自然场景,只留 3 到 6 个可删物体的,共 307 张原图、1306 张反事实图(3/4/5/6 个物体对应 98/87/68/54 张)。227 人、16665 次试次中,与他人描述的平均余弦相似度低于 0.4 的 62 条被丢(约 0.3%),剩 16603 条。
19 个模型同一流程。开源有 Qwen3-VL-4B/8B 的 Instruct 与 Thinking、InternVL3-2B/8B/14B、Gemma-4 的 E2B/E4B/31B。闭源有 claude-haiku-4-5、claude-sonnet-4-6、claude-opus-4-6,gemini-3-flash、gemini-3.1-flash-lite、gemini-3.1-pro,gpt-5.4、gpt-5.4-mini、gpt-5.4-nano。
Top-1 看最关键物体是否命中人类共识。Kendall's τ 看重要性排序是否同序。人与人基线把每张图的描述拆成参考组和对照组,模型对参考组。
| 对照 | Top-1 | 平均 τ |
| 人与人 | 73% | 0.58 |
| 19 个 VLM | 57%到65% | 0.37到0.51 |
| gemma-4-E4B(最低) | 57.3% | 0.401 |
| U2-Net 取最大 | 47.6% | 0.353 |
| VST 取最大 | 41.4% | 0.378 |
差距全部通过单侧 bootstrap,p < .01。19 个模型无一达到人与人一致性。显著物体检测更差:U2-Net、VST 虽用人类标注训练,Top-1 仍低于所有 VLM。VST 取掩码均值时 Top-1 34.5%,τ 0.258。像素上显眼,预测不了删掉谁会改写描述。
四个属性和 CSS 的相关,做在 1306 次删除上。面积、中心性、GBVS 底层显著度用 Spearman,是不是人用点二列相关。整体上,模型比人更吃面积、中心和底层对比,更不吃有没有人。人类的相关经 10000 次属性置换,均值约 0,标准差约 0.027,p < .0001,不是噪声。
Δr(模型与人的敏感度差)和 ΔAcc(Top-1 差)的相关,同样置换 10000 次。
| 属性 | 相关 | p |
| 物体大小 | -0.6130 | 0.0211 |
| 底层显著度 | -0.3746 | 0.1273 |
| 中心性 | -0.2296 | 0.2635 |
| 是不是人 | -0.1533 | 0.3398 |
只有大小过线。论文把对面积的过度依赖当成这道差距的主因。码头例里白鹭比鱼竿大得多,19 个模型全没选中人类那一个关键物体。人删掉鱼竿,描述从钓鱼装备变成一堆垃圾。模型常从周围把删掉的内容推回来,或继续写已经不在的鱼竿,小物体的 CSS 就上不去。
白盒图与 CSS 负相关。Qwen3-VL-4B-Instruct 上,各 token 显著图用 max 合成,再取掩码内最大值。与 CSS 的 τ:原始注意力 -0.3352,Grad-CAM -0.2998,AGCAM -0.2420。
这套对齐测的是「删掉谁,描述会改」。分类准确率给不了这个答案。不读权重,闭源模型可以进同一张表。成本在高质量抹图和重复采样。
面积是唯一显著的驱动。视觉预训练的主体常常又大又居中,网图配文也偏向占满画面的东西。编码器容易把「大」学成「重要」,图文对齐再加固。19 个模型从 2B 排到闭源前沿,Top-1 仍挤在 57% 到 65%,缩放还没有改掉这个习惯。
同一模型、同一批物体上,热图排序和删物体后的描述变化是反的。对人更迟钝也测到了,但和 Top-1 落差的相关只有 -0.1533(p=0.3398)。关键物体找错,统计上跟的是面积。
对人不敏感的来源没拆开。人被删了仍写进人,和模型本来就少提人,都会让 CSS 变小。论文写明两种可能都还没验证。
大小的相关过了 p=0.0211,但置换零分布标准差约 0.32,正文自己要求谨慎。中心性(r=-0.2296)和底层显著度(r=-0.3746)方向相同,p 分别是 0.2635 和 0.1273,不能当成没有作用。
刺激链是闭源的。名单用 GPT-4o,人/非人用 GPT-5.4,抹图用 Nano Banana 2,受测模型里又有 GPT 和 Gemini。名单若漏掉一类小物体,大家测的都是这份名单,和人在完整场景里觉得什么重要会偏。模型之间共用名单,相对名次少受这一步影响。
采集的是句子。OSIE 的眼动没拿来对照,「重要」指描述变了没有,不是目光先落在哪。人与人 Top-1 也只有 73%,分歧是任务的一部分。大于 30% 画面的物体被排除。5 条采样的方差、补全是否真的看不出来,正文没有数字。附录检查了嵌入模型、补全伪影和人类一致性波动,正文只报告差距还在。