8B 参数临床多模态模型登 Nature：放射皮肤科理解超越临床医生

YogurtExternal7923 · reddit · 2026-10-31

两天前发表于 Nature 的论文介绍 EVLF-FM，一个仅 8B 参数的临床多模态视觉语言基础模型，在放射、皮肤科等多个临床任务上超越临床医生的多模态理解表现。

从架构图看关键设计：- 训练数据横跨病理(33万)、X光(32.3万)、CT(27万)、MRI(28.4万)、OCT(9.8万)、CTP(8.6万)、超声(5.9万)、皮肤镜(2.6万)等大规模多模态数据。- 架构含通用视觉编码器、疾病级编码器与像素级编码器三路，经视觉连接器汇入 LLM 解码器生成回答。- 两阶段训练：先监督微调（LoRA），再用 GRPO 强化学习，奖励结合临床参考答案、任务奖励与 KL 正则。- 推理数据经 CoT 生成、不确定性过滤、质量打分、CoT 精炼与最终筛选的严格流水线。- 应用覆盖疾病诊断、医学定位与医学 VQA。