ClinFusion 用视觉优先多模态模型刷新医疗评测
Alibaba-DAMO-Academy · hf · 2026-07-28
- ClinFusion 是一个面向整体医疗理解的视觉中心多模态 LLM 系统。
- 论文把问题定义为医疗场景中的“视觉优先”挑战：模型要吸收异构的 2D/3D 医学影像，评测也要尽量贴近放射科医生的真实工作方式。
- 方法上，它提出了一个复合式、级联式视觉编码器，并引入 Cascade Spatial-Aware Locality Fusion；评测上则提供了 MedIF-Bench 和基于 ROI 的报告生成评估方式。
- 在一系列医学 VQA、报告生成、指令遵循和文本医疗任务上，ClinFusion 取得新的 SOTA；盲评显示放射科医生也把它生成的报告排在最高。
「多模态」频道最新
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16
- AI 动画短片:被困地穴遭遇加密货币老哥 — PolicemansBeard · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- 用 3000 条真实发布片喂 Claude:作者做 MCP 告别千篇一律的 AI 生成视频 — Designer_Landscape25 · 2026-10-16
- Mirelo SFX V2.0 上线 fal：文/视频生成音效并保留对白 — gorkem · 2026-10-16
- Moss-Image 出图实测:胶片质感家庭聚餐照几乎可乱真 — AgeNo5351 · 2026-10-16