阿里达摩院开源医学多模态模型 ClinFusion
aigclink · x · 2026-08-01
阿里达摩院最新开源了一款名为 ClinFusion 的医学多模态基础模型，旨在解决医学 AI 落地过程中异构医学图像的统一处理难题，使医疗影像 AI 助手能够同时看懂病灶结构、进行自然语言交流，并支持调用外部工具辅助诊断。
技术亮点：
- 级联视觉架构：通过组合不同视觉编码器统一处理 2D/3D 医学影像，如同“全科医生”、“专科医生”与“立体影像专家”进行层层深入的联合会诊。
- CaSL Fusion 机制：让专家视觉模块逐步补充基础特征细节，并由 2D 特征引导 3D 数据对齐，确保空间特征与语言模型准确对接。
- 临床工作流整合：支持 Agent tool use，遇到不确定诊断时可自动检索医学文献或调用专用模型（如器官分割）辅助判断。
在 300 例真实病例的放射科医生盲评中，该模型获得了 SOTA 表现。
所属事件:阿里达摩院开源医学多模态模型 ClinFusion(2 条相关)→
「多模态」频道最新
- SDNQ 量化引擎并入 Diffusers，支持多平台与 176 种量化类型 — RisingSayak · 2026-08-01
- Seedance 2.5 上线：电影级视觉与更强角色一致性 — SimplyAnnisa · 2026-08-01
- Pretzel：通过3D预演精准控制AI视频生成的新工具 — ctjlewis · 2026-08-01
- 一句话生成电影级混乱场面，AI视频重塑创作门槛 — sivakumaranvlsi · 2026-08-01
- MiniMax 3视频模型通过图灵测试：黑板写'Hi'成功，且已开源 — Kyrannio · 2026-08-01
- 实测豆包与即梦视频生成：200元仅够生成3-6个视频 — oran_ge · 2026-08-01