Memorisation bias in medical AI
Moritz A. Knolle, Martin J. Menten, Laurin Lux, Mélanie Roschewitz, Emma A. M. Stanley, Georgios Kaissis, Daniel Rueckert, Ben Glocker
cs.LG, cs.CY
2026-09-15
四套真实纵向数据上,患者历史记录进入训练集会改变其未来预测:新发病灵敏度下降,状态不变时指标被抬高,HEEDB上可跨25年。
医疗AI的记忆问题,过去几乎只被当成隐私攻击面:有人能从模型输出里判断某条记录是否进过训练集。临床部署的常态是另一回事。模型经常就在提供训练数据的同一批人群上上线。德国国家乳腺癌筛查是现成例子,训练用了该筛查人群的120万张钼靶,这些人之后还会按计划回来。
患者的记录随时间高度自相似。一张未来的心电图,可能把模型往「这个人以前是健康的」那边拽。匿名化保护了隐私,也让医院很难认出「这个人当年贡献过训练数据」,没法把他从AI辅助读片里摘出去。这篇把这种纵向效应叫记忆偏置(memorisation bias),并用真实随访数据测了它会不会改诊断。
检测框架改自Feldman与Zhang对记忆的定义:一条记录进不进训练集,会不会改变模型对它的预测。这里把「同一条记录」换成「同一患者的历史记录 vs 从未见过的未来记录」。
四套数据覆盖心电图、胸片和急诊电子病历:MIMIC-ECG、MIMIC-CXR、MIMIC-IV-ED,以及覆盖1980s到2025年、180万患者的哈佛-埃默里心电图库HEEDB。每名随访患者被按时间切开,历史段只用于训练,未来段只用于评测。切点按人自适应,故意给未来段多留一些历史上没出现过的新病(de novo),ECG、胸片、急诊取C=1,HEEDB取C=2。
每个数据集训200个模型,每个模型只吃随机50%患者的历史数据。对任意一名患者,大约100个模型见过他,100个没见过。两组对同一张未来记录的概率向量做energy检验,FDR控制在0.05。随机把模型分组当阴性对照,四套数据上都是0条显著。架构按模态来:ECG用改成一维卷积的ViT-S-25(约1400万参数),胸片用ImageNet预训练的DenseNet-121,急诊主结果是随机森林。
未来记录里,纳入该患者历史数据会显著改预测的比例并不低。平均效应不大,但有些记录某一类的预测概率能差出70个百分点以上。历史记录上的记忆更强,这本来就是成员推断攻击吃的信号;这篇表明这条信号会漏到未见过的未来数据上。
| 设置 | 未来记录显著变化 | 参照 |
| MIMIC-CXR DenseNet-121 | 3518/74242(约4.7%) | 随机分组0条 |
| MIMIC-IV-ED 随机森林 | 1469/65402(2.25%) | 逻辑回归仅0.04% |
| MIMIC-ECG ViT-S-25 | 约2848/25万(约1.1%) | 随机分组0条 |
| HEEDB ViT-S-25 | 约25210/410万(约0.6%) | 间隔可超过25年 |
急诊三套模型差一个数量级。随机森林未来2.25%、历史93.53%;逻辑回归未来0.04%、历史0.77%;表格ResNet未来0.12%、历史3.61%。随机森林在表格临床预测里很常用,也最爱记人。独立测试集上的macro AUROC分别是胸片79.68%、急诊随机森林83.39%、MIMIC-ECG 93.45%、HEEDB 95.38%,记忆不是「模型没训好」的附带品。
HEEDB上,最晚一条历史记录和未来记录可以隔25年以上,检验仍显著。间隔拉长后,偏置变少、变弱,但没有消失。
诊断后果是不对称的。阈值按Youden's J在独立测试集上定,82组比较做Bonferroni校正。患者带着历史上没有的新病回来时,见过其历史数据的模型灵敏度显著下降,特异度基本不动,漏诊方向明确。健康状态没变时,灵敏度和特异度都被抬高,回顾性指标会看起来更好。
差分隐私(DP)能压记忆,但隐私单元选错就压不住。记录级DP即使ε=1仍能在不少历史和未来记录上检出显著偏置,大预算下未来效应还能超过40个百分点。患者级DP把每人只留最近一条再做记录级会计:MIMIC-ECG未来最多检出2条,HEEDB历史和未来都是0。这套患者级实现很朴素,MIMIC-ECG训练集从47.6万条缩到14.6万条,效用损失里有一部分是数据被扔掉,不只是噪声。
只要模型还在贡献过数据的人群上部署,匿名化就不能当成「不会伤害贡献者」的保证。它甚至会挡住最直观的补救:把贡献者从自己未来数据的AI解读里排除出去。欧盟AI法案还要求训练数据反映拟用场景的地理和语境,这条和「别在同一人群上线」是对着的。
从业者能立刻用的结论有三条。评测如果混进训练贡献者、又不按新发病分层,会把灵敏度虚高报成真实能力。表格任务别默认随机森林无害,它比逻辑回归和表格ResNet更记人。若要用DP挡这件事,至少做到患者级,记录级不够。
漏诊的绝对人数在模拟里并不大。de novo在常规数据里本来就少,时间切分又刻意富集了这类病例,所以数字描述的是方向,不是上线后的发病率。长随访患者少,25年那一端的估计偏保守。诊断伤害来自事后阈值和模型单独打分,没有医生在环。DP实验把ViT从1400万参缩到190万,患者级实现丢掉每人多余记录,效用代价被高估。没有亚组分析,也没测分割、生存或大语言模型。整套实验大约5200个模型、1万GPU小时,复现门槛不低。