Can saliency maps flag chest radiograph classifier errors at a new hospital? An external validation study
Aashish Chapagai, Angad Singh Gurtatta, Erik Cambria
cs.CV, cs.LG, eess.IV
2026-11-03
胸片分类器跨美越两家外部医院实测 30 万次判断:热力图集中度对错误检测增益至多 0.011 AUC,方向还会跨院反转。
胸片分类器在训练医院的测试集上接近放射科医生,换一家医院往往掉点,因为模型学会了采集方式和站点特有的 shortcut。更麻烦的是错误多是静默的:错误输出和正确输出一样自信,不靠标签看不出来。saliency map(热力图,标出模型「在看哪」的归因图)是被广泛接受的补救,每个预测配一张图,假设读者会注意到模型看错了位置,国际可信医疗 AI 共识也把可解释性列为六条原则之一。但支撑这个假设的证据很薄:热力图定位不如放射科医生,有的在权重随机化后几乎不变,图看着合理也说明不了泛化好坏。这些研究问的是「图对不对」,部署系统要的更窄,一个不需要标签、能提示「这条预测多半错了」的信号,即 failure detection(错误检测)。解释在换医院后对错误检测还有没有用,此前没人测过。
NIH 测试病人分成校准半区和评测半区,错误检测组合(margin 与 TTA 的 logistic 回归)只在校准半区拟合,模拟医院部署前能做的事。外部结果检验的正是「部署前校好的检查器到新医院还好不好使」。
| 对照 | 指标 | 结果 |
| Grad-CAM vs 放射科医生(CheXpert 定位基准,520 病征) | 命中率 | DenseNet 0.575 / ViT 0.381 / 医生 0.888 |
| 置信度 margin 单独 | 错误检测 AUROCf | 0.646–0.685,六组设置里五组最好 |
| 集中度 E 单独 | AUROCf(NIH) | 0.484 / 0.524,贴着随机线 0.5 |
| E 加进 margin+TTA 组合 | ΔAUROCf | 两模型三站点增益上界 ≤0.011 |
| DenseNet,VinDr-CXR | AURC(越低越好) | 加 E 0.427,不加 0.415,反而变差 |
需求是真的:flag 精准率只有 0.343–0.529(随站点和模型变),47%–66% 的 flag 是假阳性。排序能力迁移了,工作点没有:CheXpert 上 DenseNet 水肿灵敏度从 0.424 掉到 0.008,心脏肥大 0.409 掉到 0.136,两个病征的 AUROC 仍在 0.82 以上;ViT 一例水肿都没检出。VinDr-CXR 上 AUROC 反而升到 0.886 以上,论文归因于五人共识标签比 NIH 从报告挖的标签干净。
最有信息量的是方向反转。NIH 校准的组合给 E 的标准化权重 −0.071,更集中的图在同等置信度下略更常错;VinDr-CXR 上方向反过来(E 单独 AUROCf 0.618),迁移过去的检测器帮了倒忙。用本地标签在站点内重拟合,E 权重转正到 +0.348,检测仍无提升(ΔAUROCf +0.0091,区间含 0)。实用层面,保留 margin 最高的半数 flag,VinDr-CXR 假阳性率从 0.566 降到 0.421,按 E 选只降到 0.503。漏检那侧 E 方向反着有信息(漏检病征的图更集中,AUROCf 0.221–0.351),这是「差一点过阈值」的近失特征,margin 本来就抓得住(0.697–0.842)。随机化分类头后 Grad-CAM 与训练出的图去相关,LIME 和 SHAP 在子集上复现了同样的反转,结论不挑解释器。
三条可直接执行:监控信号用置信度,保留更自信的半数 flag,每个站点能砍掉 6–14 个百分点的假阳性;阈值必须本地重调,排序跨医院保得住,工作点保不住;部署前校准的解释检查器到新医院可能帮倒忙,这是单站点研究看不到的。对可解释性研究,这个否定结果是带界的:部署前校准的检测器增益超过 0.011 被排除,本地重校准后超过 0.024 也被排除。论文还给了一个结构性论证:全局平均池化加线性头的网络里,Grad-CAM 恰好退化为 class activation map 的正半部分,整图求和正比于类别分数减偏置,图是分数的空间重排,不是关于决策的独立测量。机理也直白:自信的假阳性同样由强病灶证据产生,证据一样落在胸腔里,集中度分不出对错。
论文自列:NIH 标签从报告挖取、噪声大,影响内部错误计数;部分外部病征阳性过少(CheXpert 的 lesion 10 例、气胸 16 例);只研究了空间集中度这一种解释摘要,解释器之间分歧很大,别的统计量可能不同;ViT 未测 transformer 专用归因方法;LIME/SHAP 出于成本每站点至多 500 张;站点内重拟合是预注册之后补的探索性分析;没有 reader study,医生实际怎么用热力图未知。另有两条边界:证据只覆盖胸片、两个架构、三个站点,别的模态未验证;漏检场景站点内重拟合拿到 +0.024 到 +0.052 的增益,说明解释信号不是全无信息,只是完全依赖站点,同样的标注预算花在重调阈值上更划算。