ModaLens: Measuring Image Sensitivity in Report-Conditioned Medical VLMs
Sebastián Andrés Cajas Ordóñez, Maximin Lange, Quang Bui, Anqi Peter Li, Felipe Ocampo Osorio, Rafi Al Attrach, Kushul Reddy Palakala, Sahil Kapadia, Zakaria Laouabdia Sellami, Xinyue Zhang, Ashley Zhang, Leo Anthony Celi
cs.CV, cs.AI
2026-09-14
ModaLens 用配对换图审计：问题与报告固定，把胸片换成另一张。MedGemma-27B 在 44,786 次试验里，有报告时答案翻转 4.26%，无报告 20.94%，配对差 16.7 个百分点。
医学视觉语言模型常常同时吃胸片和放射报告。报告里已经写了问题的答案时，模型输出对了，并不等于它看了图。通用 VQA 里「不看图只看题」是老问题；医学这边更麻烦：报告可能写的是旧片、写错了，或者描述已经消失的病灶。强制 Yes/No 在图文一致时给不出「有没有用图」的信号。
ModaLens 不评「视觉正不正确」，只测一个更干净的量：问题和报告固定，把整张图换成另一项检查的图，答案动不动。
主数据是 MIMIC-CXR 测试集：293 名患者、3,199 个病例（一张正位片加一张替代片），每例 14 个问题（13 个 CheXpert 发现加 1 个「有没有急性心肺发现」），共 44,786 次配对试验。替代片优先从同一患者其他正位研究里抽，要求 CheXpert 阳性集合不同；19 例单次检查患者才跨人。3,180 对同患者，19 对跨患者。
主模型是 MedGemma-27B（Gemma 3 指令微调，62 层）。输入一块图、一块「Report: … / Question: …」。主读出是显式要求答 Yes 或 No 之后，生成答案是否翻转；论文最初的读出是 greedy 第一步小写 yes/no token 的 argmax，作为敏感性分析保留。区间用患者聚类 bootstrap。
对照包括：去掉报告或去掉图、文本块顺序对调、警告「报告可能不对」、用中性散文或临床套话替换报告、从某层起屏蔽对报告 token 的注意力，以及 Qwen3.5-9B、Qwen3.5-27B 和 LLaVA-NeXT（Mistral-7B）复现。
显式答题指令下，生成答案翻转率如下。
| 条件 | 翻转率 |
| 有报告 | 4.26% [3.95, 4.60] |
| 无报告 | 20.94% [19.70, 22.13] |
| 配对差 | +16.7 点 [15.6, 17.7] |
原始 prompt 加小写首 token：4.70% 对 17.07%，差 12.4 点。连续 margin（\(\log p(\texttt{yes})-\log p(\texttt{no})\)）平均绝对变化：有报告 0.690，无报告 2.307，82.9% 的试验在无报告时动得更大。有报告时只有 4.7% 翻转，但 32.2% 的试验 margin 变化超过 0.5。二值答案没翻，不代表图没起作用。
这个差不是每个病种都成立。无报告时肺不张和辅助装置几乎每题都答 yes（yes 率 97.8%–100%），翻转率反而低于有报告：生成答案里肺不张 6.81% 有报告对 4.63% 无报告，辅助装置 11.03% 对 1.44%。其余九个发现无报告翻转 16.8%–32.0%。
标签来自报告文本。有报告时，标签变了的试验翻转 4.30%，标签没变的 4.81%，两边差不多。对照每张图自己那份报告标签，原图准确率 0.648，换图 0.589。模态消融：只看报告的 balanced accuracy 是 0.770，加上图掉到 0.717；只看图是 0.665。图在无报告时能抬 0.165，有报告时反而拉低 0.053。
文本对照（单问题设计）：中性散文翻转 8.2%，临床套话 7.1%，无报告 10.3%，完整报告 1.4%；删掉提到该发现的句子升到 11.6%；写上标准答案降到 3.1%。警告报告可能错，单问题翻转从 1.22% 到 1.50%，差 0.28 点，区间穿过 0。
Qwen3.5-9B 配对差 13.3 点，Qwen3.5-27B 19.60 点，LLaVA-NeXT 12.75 点，方向一致。从第 0 层开始屏蔽对报告 token 的注意力，单问题翻转从 1.50% 升到 7.75%（无报告 12.00%），从第 32 层再挡就回到基线。单层屏蔽不超过 2.50%。
谁要在胸片 VLM 上叠「报告作上下文」，这篇是一次可复用的审计：同一病例跑两次，只换图。4.26% 对 20.94% 说明报告在场时，MedGemma-27B 的 Yes/No 几乎不跟图走。这不等于临床错误，报告经常是专家读片；但若任务是「看这张图」，报告会把图像敏感度压下去，警告一句也救不回来。部署侧至少要分开测「有报告」和「无报告」，不要用带报告的准确率当视觉能力。
标签全程来自报告，没有独立的人工读片金标准。换图不匹配投照和另外 13 个标签，替代图可能仍带同一个发现，会压低翻转率。翻转率依赖文本块顺序：图在前差 12.4 点，文本在前只剩 7.8 点。全部报告操纵只在 MIMIC-CXR 一家医院的英文报告上。无报告时若干发现几乎恒答 yes，池化的 16.7 点不是每个病种都成立。读出方式会改无报告数字的绝对值，方向不变。