CausalVLBench：因果图能画到 100%，干预的连锁反应却跌到 50-60%

CausalVLBench: Benchmarking Visual Causal Reasoning in Large Vision-Language Models

Aneesh Komanduri, Karuna Bhaila, Xintao Wu

EMNLP 2025 Main)

cs.LG, cs.AI, cs.CL

2025-05-21

9 个 LVLM 在三个物理系统上做视觉因果推理。因果图好画（钟摆 100%），干预目标预测集体翻车，反事实靠预测初始值刷分，真传播时掉到 50-60%。

这篇在解决什么

LVLM（大型视觉语言模型）在图文问答、识别上已经很能打，但「因果推理」这块一直没人系统测过。文本侧早有结论：大模型在 Pearl 因果阶梯（Pearl's Causal Hierarchy）的 L1 观测问题上答得很好，L2 干预、L3 反事实就力不从心。可这是纯文本测出来的。换到视觉，给一张图，模型能不能看出「哪个变量动了、谁影响了谁、如果改一个值结果会怎样」，此前几乎是个空白。

已有的视觉因果评测（比如 CELLO）只看「人和物体的场景关系」，不碰真正的因果机制。作者补的就是这块：一套基于物理系统、因果机制确定可验证的视觉因果基准。

方法

基准叫 CausalVLBench，由三个因果表征学习数据集改来，都只有 4 个因果变量：

Pendulum（钟摆）：7.7 万张图，分辨率 96×96×4。变量是钟摆角度、光源位置、影子长度、影子位置。自然物理律，光源动了影子就跟着动。
Water Flow（水流）：8.8 万张图，96×96×4。变量是球半径、孔位、水位、水流。
Causal Circuit（电路）：约 5 千张图，512×512×3。变量是机械臂位置和红绿蓝三盏灯的亮度。这个是「人造的、抽象的」因果图，按钮控制灯，不是自然律。

每个数据集 40% 当支持集（给 in-context 学习的例子）、60% 当查询集，每轮随机抽 1000 题。

三个任务对应 Pearl 阶梯的三层：

结构推断（任务 1）：给一张图或一对干预前后的图，让模型用是/否判断变量之间有没有因果边。指标是准确率，再加结构汉明距离 SHD（Structural Hamming Distance，推出来的图和真值图差几条边）。
干预目标预测（任务 2）：给一对图和一个因果图，问「哪个变量先动的」。这是 L2。
反事实预测（任务 3）：给当前状态、因果图和一个假设干预，预测所有变量干预后的取值。这是 L3。

测了 8 个开源模型（从 LLaVA-OneVision-7B 到 Qwen2.5-VL-32B）加一个闭源 Gemini-2.0-Flash。作者明说：因为算力，没测 GPT-4V 和 Claude。

结果

因果机制最「物理」的钟摆最简单。Qwen2.5-VL-32B 和 Gemini 都在标准设置下画出 100% 正确的因果图（SHD=0）。换到人造的电路，最高准确率掉到 73.2%（Gemini），SHD 升到 3 左右。

任务（零样本，Gemini）	钟摆	水流	电路
结构推断准确率	100%	91.6%	73.2%
干预目标 0/8-shot	39.4 / 47.4	37.6 / 55.7	10.5 / 66.1
反事实 0/8-shot	83.4 / 86.5	80.3 / 88.3	97.0 / 97.4

干预目标预测是真正的难点。需要看图对的任务里模型集体翻车，很多模型加更多示例反而更差。Gemini 在电路上从零样本 10.5% 涨到 8-shot 66.1%，是少数能从 in-context 学习里获益的；多数开源模型加 shot 就崩。

反事实的数字看着高，作者自己拆穿了水分：模型靠「预测成初始状态」刷分，并没有真的把干预传播到下游变量。一旦干预目标有后代节点（比如改了光源，影子该跟着变），准确率掉到 50-60%；只有动叶子节点时才答得好。

链式思维（CoT，Chain-of-Thought）提示效果很分裂：Qwen2.5 在电路结构推断上从 54.8% 跳到 98.5%，但 Gemini 加了 CoT 反而变差，长推理链让它失焦。

为什么重要

它给视觉模型划了一条清楚的能力红线：认得出「相关」和「会推因果」是两回事。结构推断能靠模式匹配蒙过去，钟摆这种见得多的物理现象尤其好蒙；但干预和反事实要求模型真懂「动了 X 会怎样」，这块当前没有一个模型过关。

对做评测和做 Agent 的人，这个基准把「多图推理」和「反事实传播」两个具体短板钉死了。如果你的应用要模型看监控画面判断「改了哪个阀门会导致什么」、或从医学影像推「换一种治疗方案会怎样」，当前 LVLM 还撑不起来。

它也是一记方法学警钟：反事实任务上 80% 以上的表面准确率，可能是「偷懒答初始值」堆出来的。做评测的人得设计能区分「真传播」和「复读」的指标，作者用的「按干预节点有没有后代拆开看」就是这种思路。

局限与存疑

没测 GPT-4V 和 Claude，最强闭源模型的水平实际是空白，只靠 Gemini 一个点代表不了闭源阵营。
因果图只到 4 个变量，远小于真实场景的因果复杂度；作者把更复杂的时序系统留给未来。
数据全是合成的物理系统，和真实图像（自动驾驶、医疗影像）差距大，结论能不能外推没验证。
任务设计本身可能奖励了某种捷径：反事实任务「预测初始状态就能拿高分」，说明指标还没收紧到只奖真因果。
「电路准确率随 CoT 大涨大跌」这种剧烈波动，部分原因可能是 prompt 模板的敏感度，不一定是模型因果能力的真实变化，论文没单独剥离这个因素。

术语

LVLM（Large Vision-Language Model）：能同时看图和理解文字的大模型，如 GPT-4V、Qwen-VL。
Pearl 因果阶梯：Jude Pearl 把因果推理分成三层，L1 观测（看到 A 时 B 多大概率发生）、L2 干预（动手把 X 设成某值会怎样）、L3 反事实（如果当初没设 X 会怎样），越往上越难。
SHD（Structural Hamming Distance）：两个因果图之间「差几条边」的距离，越小越像。
do-operator / 干预：把一个变量强行设成某值再看后果，区别于「观察到它等于某值」。
In-context learning（上下文学习）：不更新权重，只在输入里给几个例子让模型照着做。
CoT（Chain-of-Thought）：让模型把推理过程一步步写出来再给答案。

原文与代码

社区讨论

CausalVLBench：大型视觉语言模型因果推理基准 moschles