阿里达摩院开源医学多模态模型 ClinFusion
aigclink · x · 2026-08-01
阿里达摩院最新开源了一款名为 ClinFusion 的医学多模态基础模型，旨在解决医学 AI 落地过程中异构医学图像的统一处理难题，使医疗影像 AI 助手能够同时看懂病灶结构、进行自然语言交流，并支持调用外部工具辅助诊断。
技术亮点：
- 级联视觉架构：通过组合不同视觉编码器统一处理 2D/3D 医学影像，如同“全科医生”、“专科医生”与“立体影像专家”进行层层深入的联合会诊。
- CaSL Fusion 机制：让专家视觉模块逐步补充基础特征细节，并由 2D 特征引导 3D 数据对齐，确保空间特征与语言模型准确对接。
- 临床工作流整合：支持 Agent tool use，遇到不确定诊断时可自动检索医学文献或调用专用模型（如器官分割）辅助判断。
在 300 例真实病例的放射科医生盲评中，该模型获得了 SOTA 表现。
所属事件:阿里达摩院开源医学多模态模型 ClinFusion(2 条相关)→
「多模态」频道最新
- 电影级 3D 奇幻角色提示词模板：机械残件甲胄风 — azed_ai · 2026-10-16
- Midjourney 复古木刻漫画风：--sref 参数直出海狸持刀图 — michaelrabone · 2026-10-16
- 网友将 MOSS-Image 量化为 INT8,在 ComfyUI 近乎无损运行 — East_Shoe8814 · 2026-10-16
- Tripo 旧金山首届世界构建黑客松落幕，World Labs 与 Runway 参与 — mhdfaran · 2026-10-16
- Pollo 推出 Recast 视频重绘工具,保留动作与口型,限时六折 — SimplyAnnisa · 2026-10-16
- Kling 4.0 强化文生视频：角色一致性、口型同步与对话表现升级 — CurieuxExplorer · 2026-10-16