AnswerMap: Faithful Spatial Interpretability of VLMs from Answer Posteriors
Mohamed Eltahir, Fardows Adam, Duaa M. Tahir, Lama Alamoudi, Sana Ammar, Atheer A. Alboloshi, Jory Albluey, Tanveer Hussain, Naeemullah Khan
cs.CV, cs.LG
2026-09-28
把图切成行列条带,只读 Yes/No 后验做外积得到空间图。对齐模型自己指点 AUC 0.85(注意力 0.38),删掉高亮区会翻转 53% 原本正确的回答。
VLM 回答视觉问题时，最自然的核查是空间的：答案从图像哪一块来。放射科读生成报告、审计核一条声称，都需要这块信息。现有工具卡在三处。
文字 rationale 和答案同头，但模态对不上。一句话点不出区域，也无法对着图像做检验。注意力、梯度、relevancy 这类内部读出模态对了，来源却太早；VLM 深层注意力大量落在与文本无关的 sink token 上，图像 token 分到的份额接近消失。遮挡法不需要权重、读的是最终输出，但每个格子要单独遮一次，代价 O(K²)，而且每格分数只是从几乎确定的整图答案里抠掉一小块，其余区域还能顶上时格子就得零分。
缺的是格子分数本身就是对该格子的回答、只读输出头、代价随 K 线性的空间解释。
AnswerMap 把图像切成 K 条水平带和 K 条垂直带，每条单独送给冻结模型，问「查询内容在不在这条带子里」。不读生成文字，只取第一个答案 token 上 Yes/No 的 logits，做成 yes 后验。行向量和列向量做外积，得到 K×K 查询条件空间图。格子要亮，穿过它的行和列都得给出自信的 yes。
默认 K=8，16 次前向；同分辨率遮挡要 65 次。带子在像素空间切，不碰 token 排布，动态分辨率和 tiling 对它不可见。
单网格锁死一种带宽。粗网格有上下文，细网格更局部，所以对互质网格（如 {3,5}）分别探测，上采样到共享 64×64，min-max 归一化后逐元素相乘。一处要留下，必须每个带宽都背书。互质边界不重合，K1+K2 次询问得到 K1+K2−1 段分辨率。
图是 rationale，答案是图上的固定读出 R，计算得到，不靠生成。期望是格子中心的加权平均并减掉地板，给出亚格子坐标。最大值读区域承诺强度。顶质量区域做成 crop 回喂。
每条带子不带索引、周围也没有原图，问题相同，语言先验对每条贡献一样，可以整体抬升或压低，不能把质量在图上挪位置。读出的位置和峰值只能来自带子内容。
主模型 Qwen3-VL-4B-Instruct，复现到 8B、30B-A3B 和 InternVL3.5-8B，全部冻结、greedy、不训练。对照含最优层注意力（在 200 条 RefCOCOg 上扫层后固定，这 200 条还进正式集）、T-MM、TAM、同网格遮挡。
测试 1：图是否落在模型自己的指点上。
| 方法 | RefCOCOg NSS | RefCOCOg AUC |
| AnswerMap {3,5} | 1.56 | 0.853 |
| AnswerMap K=8 | 1.36 | 0.824 |
| 遮挡（65 次询问） | 1.04 | 0.649 |
| TAM | 0.77 | 0.693 |
| T-MM | 0.33 | 0.656 |
| 最优层注意力 | -0.22 | 0.380 |
| 随机图 | -0.05 | 0.486 |
空白图对照落在机会水平。换图对照跟被换入的图走，和本图指点无相关。注意力扫完全部 36 层仍低于机会水平，期望几乎不随查询移动。
测试 2：删掉顶质量 8/64 格（约 12.5% 面积，涂灰），看原本正确的答案会不会变。
| 方法 | TextVQA 翻转率 | GQA 翻转率 |
| AnswerMap | 53.4% | 22.4% |
| 遮挡 | 48.8% | 18.2% |
| T-MM | 36.8% | 17.1% |
| 最优层注意力 | 18.8% | 3.0% |
| 均匀随机区域 | 8.2% | 4.5% |
用整图删除标出图像是否被用过之后，探针区域在用过图的题上翻 57.4%，没用过的翻 22.0%。4B 到 30B 和 InternVL 上，测试 1 的 AUC 为 0.768 到 0.824，测试 2 翻转率为 45.8% 到 53.4%。GPT-6-sol 的 API 只用 logprobs 就能跑。
读出对着真值。Qwen3-VL-4B 在 RefCOCOg 上生成点 94.5%、图期望 67.5%，生成通道更富；医学模型 Lingshu-7B 有 30% 指点解析失败，图期望 57.7% 超过生成点 46.7%。最大值在 POPE 上把模型 4006 次 yes 里的有根据声称和幻觉声称分开，ROC-AUC 0.833。删区域时幻觉 yes 翻 69.5%，有根据的翻 41.0%；随机删除下是 11.2% 对 1.4%。顶质量 crop 回喂 TextVQA，准确率 91.6% 到 92.4%，随机 crop 掉到 89.0%。42 个错答里图 crop 改对一半，随机 crop 改对 38%；原本对的被搅乱 4% 对 6%。
消融：单网格 NSS 在 K=6 见顶 1.46，K=8 为 1.14，K=40 崩到 0.22。互质 {3,5} 同样 16 次询问到 1.50，预算放大五倍仍平。A100 上 4B 每图 0.41 秒、30B 1.25 秒，遮挡是 1.80 秒和 5.90 秒。
只要模型吐 first-token logprobs，不改权重、不看内部，就能拿到一张能对着图像检验的空间图，闭源 API 也能跑。注意力作为空间解释在这篇协议下掉到机会水平以下。无校准的逐例注意力在两个测试上都是噪声。
读出把解释器变成输出接口。连续坐标不必挤进离散 token，幻觉检测不必先生成一段话，crop 回喂能修一半错答。代价是每图 16 次前向，比内部方法慢，比遮挡便宜四五倍。适合审计、医疗读片核对、以及指点解析不稳的模型。这是接口上的渐进改进，不是新的训练范式。
论文自己点了两处。算子要求模型接受非方形输入，带子又长又窄。图由行、列答案构成，知道哪些行哪些列含查询，不知道哪对才是真交集：两个分离物体时，行列交叉的空格子也会亮。这是秩 1 外积的几何后果。
测试 1 拿模型自己的指点当参照，忠实是相对模型信念，不是相对标注框。Qwen3-VL-4B 指点已经很强时，期望读出在 RefCOCOg 上落后生成点约 27 个点。注意力最优层用正式集 200 条来选，论文写明这只可能偏向注意力，即便如此仍败。TextVQA 上 crop 净提升 0.8 个点，「修一半错答」和净准确率要分开看。POPE 的 AUC 0.833 是在已经说 yes 的声称上算的，不是全量检测。K=8 不是单网格最优，K=6 的 NSS 更高。