MedPMC：医学多模态数据框架
Yale-BIDS-Chen · hf · 2026-07-13
这篇工作提出 **MedPMC**，目标是把 PubMed Central 中许可开放的文献自动加工成高质量的医学图文数据基础设施，用于训练医学多模态基础模型。 ### 主要做法 - 面向 **610 万篇** PMC 文章进行处理，整理出 **1100 万** 对医学图文配对。 - 框架包含初筛、多面板图检测、图像分离、图注分离与对齐、医学图分类等组件。 - 组件评估显示各环节表现较强，例如初筛 F1 为 **93.2**，多面板图检测 F1 **96.5**，图像分离 mAP **89.8**。 ### 质量与效果 - 5 位标注者人工复核后，MedPMC 图像中 **95.3%** 被认为与医学相关；对比的旧 PMC 数据集只有 **19.7%**。 - 在覆盖 **11 个专科、26 个 benchmark** 的测试中，MedPMC 训练的 CLIP 风格模型，相比最强的同架构生物医学 CLIP 基线，平均 zero-shot AUC 提升 **7.1 个百分点**，而且使用的图文对数还少于对方一半。 - 作为多模态大模型的视觉编码器时，在两个医学 VQA 基准上分别提升 **1.9** 和 **16.9** 个百分点。 - 在耶鲁纽黑文医疗系统的 **10,524 张**皮肤科照片上，形态到图像检索 Recall@5 提升 **11.7** 个百分点。 ### 结论 作者认为，高保真文献级数据清洗能显著增强医学多模态基础模型，并且他们公开发布了框架、语料、基准和预训练模型。