Loud or Silent? A Reusable Framework for Per-Modality Failure Analysis in Multimodal Clinical AI
Quang Bui, Shlok Jaiswal, Samuel Paik-Heintz, Kevin Zhou, Kaushik Madapati, Krittaphas Chaisutyakorn, Noah Dane Hebdon, Dimitrios Proios, Sebastián Andrés Cajas Ordóñez, Kacper Dobek, Boya Zhang, Aly Dhedhi, Ahram Han, Kushul Reddy Palakala, Rahul Gorijavolu, Jacques Kpodonu, Leo Anthony Celi
cs.AI
2026-08-03
MIT 的模态失败分析框架：丢掉超声让心脏模型 LVEF 误差从 10.3 翻到 18.6，还能分清是哪个模态出错、失败会不会被监控发现。
多模态临床模型在论文里通常被评测成「所有模态都在场」的样子:心电图、超声心动图、化验单一个不少,算一个综合准确率。真实部署不是这样。一个床边可能只有心电图,超声要等排班、等技师,或者设备压根不在。模态在不在场,取决于医院有什么、当时能不能做。
于是有个被忽略的问题:当某个模态缺了,模型的预测不只是「差一点」。差多少只是第一个问题,更关键的是两件事。一是这个错误该怪哪个模态;二是模型失败时会不会「响亮」地示警(输出落在决策边界附近,监控能接住),还是「沉默」地从边界另一侧滑过去(看起来一切正常,监控系统也不会报警)。
这两种失败的临床后果天差地别。响亮的失败会被二次读片、人工复核这类流程接住;沉默的失败可能直接进入诊疗决策。这篇论文(MIT Critical Data 团队)要做的,是给多模态临床模型配一套不绑定具体模型的评估工具,把这两个问题变成每次换模型都能复跑的标准检查。
框架的输入很轻:N 个模态的嵌入向量、任意一个「知道哪些模态在场」的探针(mask-aware probe)、以及标签。输出三样东西。
第一是逐样本失败分类法(per-example failure taxonomy)。在每个模态组合下,把每个样本标成三类:正确(门控判断对、回归误差也小)、不精确(门控对但回归偏大)、关键失败(门控翻车,该报的没报,或不该报的报了)。这里的「门控」指 EF≤40% 这个心衰判定阈值,即是不是该把病人标成射血分数降低型心衰(HFrEF)。关键失败才是临床上真正要命的那类,而平均绝对误差(MAE)会把它们淹没。
第二是模态互补矩阵(complementarity matrix)。对每个模态 m,算它被拿掉后误差涨了多少,这个差值叫留一值(leave-one-out value)。再把每个样本归给「拿掉后最伤」的那个模态。这一步把冗余模态(拿掉无所谓)和互补模态(缺了就垮)分开,还能按性别、年龄段、种族分层做公平性审计。
第三是响亮对沉默的失败画像(loud-vs-silent dropout profile)。一个样本在全模态下门控判对、拿掉某个模态后判错,这就是一次「诱发的关键失败」。这次失败响不响,看预测值离决策阈值 τ 有多远:离得远(|f−τ|≥κ)是沉默失败,预测落在错误那一侧的深处,看起来毫无异样,基于边界的监控抓不到;离得近(|f−τ|<κ)是响亮失败,输出本身就在示弱,值得二次确认。
这里有个关键设计:整个画像只用到部署时能看到的信号,也就是实际给出的那个预测,不需要「如果所有模态都在」的反事实预测。而那个反事实在部署时根本拿不到。这一条把方法从「实验室里的归因」变成「部署现场能跑的检查」。
整套东西打包成一个带单元测试的小工具(harness),每个产物都附带记录 git commit 和配置的清单,运行靠配置文件驱动、随机种子固定。作者刻意把它和两类已有工作拉开距离:它不是 SHAP 那种事后特征归因(那是问一个完整输入里谁推了预测一把),而是在输入真的缺了的时候问模型会怎么表现;它也不是 EchoingECG 那种把超声蒸馏进心电图单模态模型的做法,这里两个模态都保留,研究的是推理时的退化。
作者先在合成数据上验证工具本身靠谱。他们人工种了一棵结构:超声强编码 LVEF、心电图弱编码,但在约 18% 的子集里超声故意没用、必须靠心电图。12 个种子的结果是,工具稳定地还原了这棵结构:超声的留一值 5.5±0.7 MAE,心电图 1.8±0.5;超声在全部 12 个种子里都是更有价值的模态,拿下 0.67±0.04 的逐样本胜数,而心电图正确地在那个互补子集上胜出。响亮对沉默的拆分两者接近:丢超声时 0.31±0.07 是沉默失败,丢心电图时 0.32±0.10,排序还会随种子翻转。这是刻意要的结果:「最有价值的模态」未必是「丢了最危险」的模态,价值和可探测性是两条独立的轴。
两模态下逐样本归因有点退化(丢 A 等于只用 B),所以他们又跑了一个三模态实例,加一个模拟的「化验」通道,225 个测试样本。互补矩阵显示:单独上场时超声 MAE 9.7,心电图 12.9,化验 13.4;任何含超声的组合(约 8.3)都碾压心电图加化验的组合(11.3)。逐样本胜数超声 125、心电图 56、化验 44,把超声标成不可替代,后两者弱且部分冗余。
真正落地的验证在 MIMIC-IV 的配对心脏队列上,245 个留出测试样本,用冻结的 EchoJEPA-L 和 HuBERT-ECG 嵌入,主模型是交叉注意力融合探针:
| 推理条件 | LVEF MAE↓ | EF≤40% AuROC↑ |
| 全模态(超声+心电图) | 10.28 | 0.766 |
| 丢超声(仅心电图) | 18.57 | 0.693 |
| 丢心电图(仅超声) | 15.13 | 0.750 |
丢超声让 LVEF 误差几乎翻倍,从 10.28 涨到 18.57。作为参照,EchoJEPA-L 在它自己内部多伦多队列上报 5.97,AI-ECG 筛查 EF≤35% 在 Mayo 队列上报 0.93 AuROC(Attia 等 2019),但那些是在更干净的单中心内部数据上、用冻结骨干当性能下界,不是同一划分下的直接对照。
队列本身的构建过程就是个发现。从 7243 例超声研究出发,匹配到结构化测量、筛出有 LVEF 读数、再要求同病人有心电图,到「心电图在前后 24 小时窗口内」就只剩 1678 例、1326 个病人,最后卡在同一次住院里落到 1208 例、1003 个病人。超声和心电图在真实病历里很少在 24 小时内同时出现,这个窄重叠本身就是心脏基础模型要面对的部署约束。
这套东西的价值不在某个新模型,而在一种评估习惯。它直接对接了多模态临床模型落地的三个真实痛点。
一是模型会不断被换。今天用 EchoJEPA,明天换更强的骨干,但「哪个模态重要、丢了会不会被发现」每次都得重答。框架只吃嵌入、不绑死模型,换骨干只要换探针,同一套评估能跨代复用。这对任何在做医疗模型迭代的人都省下了重复造轮子的成本。
二是它把沉默失败单拎出来。一个在决策边界远处悄悄判错的模型,比一个明显示弱的模型危险得多,因为现有的置信度或边界监控根本不会把它标出来。知道沉默失败的比例,才知道到底要上多少人工兜底。
三是那个队列发现。心脏基础模型的论文常假设超声和心电图像积木一样随手可得,但真实病历里它们很少凑齐。在配对数据上训出来的多模态能力,落到只有单模态的床边时要打折,打折的方式得用这类逐模态分析去量化。
作者自己点了几条。MIMIC-IV 是美国单中心数据,外部验证缺位。骨干网络是冻结的,绝对精度只能当性能下界看,不代表微调后的真实水平。EF≤40% 在配对队列里阳性率不高。响亮对沉默的拆分用的是到阈值的距离,不是校准过的置信度。
还有两条更根本。合成数据上的验证是循环的,结构是作者自己种的,能还原只证明工具的机械部分没问题,不证明哪个模态在真实病人身上更关键,而逐样本归因在真实数据里根本没有 ground truth。另外只有两个模态时逐样本归因是退化的,这套方法最有信息量的场景是 N≥3,而真实的超声加心电图恰恰是两模态。
读完还有一个存疑。响亮对沉默用的是到固定阈值 τ 的几何距离当可监控性的代理,但监控能不能接住一次失败,其实取决于部署侧的告警阈值怎么设、有没有人工复核链路。这个代理在论文里没有对照真实的告警系统校准过。