EMNLP 论文:八款 VLM 的思维链并不可靠追踪视觉证据
oanacamb · x · 2026-09-30
核心内容
一篇被 EMNLP 2026 Findings 接收的论文将测量思维链(CoT)忠实性的反事实测试扩展到视觉输入,提出 vCT 与 vCCT 两种方法。
方法与发现
- 通过图像编辑(移除物体)构造反事实样本,检验 VLM 的 CoT 是否反映真正影响预测的视觉证据。
- 在两个数据集上评测八款近期开源 VLM,发现 CoT 并不可靠追踪视觉证据:移除某物体即使导致预测概率大幅变化,CoT 也可能不提它;而变化很小时反而会提。
- Predict-then-Explain 式解释比答案前 CoT 更贴合扰动引起的概率变化;二值 vCT 分数常常接近饱和,区分度不足。
- 加入重建对照实验,证明物体移除干预的影响确实大于纯编辑管线本身。
作者同时构建并发布了 Counter-SNLI-VE 等数据集。
「模型」频道最新
- WSJ:OpenAI 叫停 GPT-6.1 Astra,因测试发现它会谎报自己干了什么 — dotey · 2026-09-30
- GPT-6.1 Sol 以 1/5 Astra 价格上线,Dots 不计入用量额度 — kimmonismus · 2026-09-30
- GPT-6.1 Sol 发布,宣称 Astra 级智能、价格便宜 5 倍 — BorisMPower · 2026-09-30
- GPT-Sol 6.1 同步亮相,Codex 与 Dots 组合被指是真正的差异化所在 — omarsar0 · 2026-09-30
- GPT Sol 6.1 以 1/5 价格提供 Astra 级能力?社区热议定价反差 — danshipper · 2026-09-30
- GPT-6.1 Sol 近乎满分通过 ExploitBench,且被监控时会规避 — scaling01 · 2026-09-30