UCSB 研究:19 个 VLM 看场景都不像人——过度依赖物体大小、对"人"迟钝
机器之心 · wechat · 2026-11-21
加州大学圣塔巴巴拉分校团队提出"反事实语义显著性"(CSS)黑盒评估框架,并构建含 307 张原始场景、1306 张反事实场景的数据集(227 名被试、16603 条描述作人类基线),评估了 Qwen3-VL、InternVL3、GPT-5.4、Claude、Gemini 等 19 个开源与闭源 VLM,发现无一达到人类一致性水平。
关键发现
- 模型判断场景中哪些物体重要时,显著依赖物体大小、居中程度和低级视觉显著性;对场景中"是否有人"远不如人类敏感,而人类描述场景会被画面中的人强烈影响。
- 四种假设中,只有"大小敏感性的偏离"与模型找关键物体的准确率差距显著相关,即过度依赖物体大小是人机差异的首要驱动因素。
- 在 Qwen3-VL-4B 上对比注意力图、Grad-CAM、AGCAM 三种白盒方法,其物体重要性排序与 CSS 甚至呈负相关,说明被动观察式可解释性难以揭示因果因素。
论文:arXiv 2605.13047,代码与数据已开源。
「多模态」频道最新
- 用 Minimax H3 + ComfyUI 做土耳其复古风 MV,3060 Ti 跑 10 小时 — uhf789 · 2026-11-22
- 开源图像模型井喷:Qwen 2.1 当文本编码器大幅提升提示词遵循 — Inevitable_Pen9043 · 2026-11-22
- 本地 8B 模型生成量化知识卡片,16 个数字全部核对无误 — Impressive-Kick293 · 2026-11-22
- 用 Minimax H3 + ComfyUI 做土耳其复古风 MV,3060 Ti 跑 10 小时 — uhf789 · 2026-11-22
- 澄清:特斯拉 Reality View 不用高斯泼溅,靠车端视频扩散世界模型 — Scobleizer · 2026-11-22
- AI 重制《EVA》名曲 Komm, süsser Tod 钢琴片段引围观 — Maximum-Flat · 2026-11-22