阿里达摩院发布医学多模态模型 ClinFusion，8B 版多数基准胜 Gemini 3 Flash
jiqizhixin · x · 2026-08-29
医学 VLM 长期面临两难：以 2D 为中心的模型丢失 3D 结构，以 3D 为中心的模型又需要昂贵的对齐，且现有基准并不衡量临床真正关心的东西。阿里达摩院的 ClinFusion（8B 与 32B）试图同时解决这两个问题。
核心是 CaSL Fusion——一种局部交叉注意力机制，在不增加送入 LLM 的视觉 token 数量的前提下融合 2D 与 3D 特征，只提高单个 token 的信息密度，并将计算复杂度从二次降到线性。同时提出面向临床对齐与事实性的评测框架。
结果：在全部 8 个 2D VQA 基准上均排名第一或第二，8B 版在多数基准上击败 Gemini-3-Flash；腹部 CT 问答上 8B 版超过最强同尺寸开源模型 14.5 分。
「多模态」频道最新
- Kling 4.0 实测：单次生成 30 秒 1080p 长镜头与角色参考 — HeyZoyaKhan · 2026-10-15
- Kling 4.0 生成泰山率狼群军团出征，30 秒成片难辨真假 — HeyZoyaKhan · 2026-10-15
- Kling 4.0 主打「导演式」视频生成:编排动作、构建视觉世界 — alex_verem · 2026-10-15
- ElevenLabs MCP + Claude Motion:一句提示词给视频加动效,跳过 AE — CurieuxExplorer · 2026-10-15
- Google 演示:Gemini 内把学术 PDF 一键变彩色动画故事书 — CurieuxExplorer · 2026-10-15
- Magnific One 拍图 + Seedance 2.5 一条提示词,产出 15 秒完整广告片 — CurieuxExplorer · 2026-10-15