阿里达摩院发布医学多模态模型 ClinFusion，8B 版多数基准胜 Gemini 3 Flash
jiqizhixin · x · 2026-08-29
医学 VLM 长期面临两难：以 2D 为中心的模型丢失 3D 结构，以 3D 为中心的模型又需要昂贵的对齐，且现有基准并不衡量临床真正关心的东西。阿里达摩院的 ClinFusion（8B 与 32B）试图同时解决这两个问题。
核心是 CaSL Fusion——一种局部交叉注意力机制，在不增加送入 LLM 的视觉 token 数量的前提下融合 2D 与 3D 特征，只提高单个 token 的信息密度，并将计算复杂度从二次降到线性。同时提出面向临床对齐与事实性的评测框架。
结果：在全部 8 个 2D VQA 基准上均排名第一或第二，8B 版在多数基准上击败 Gemini-3-Flash；腹部 CT 问答上 8B 版超过最强同尺寸开源模型 14.5 分。
「多模态」频道最新
- SEEDANCE生成DC旅游Vlog：详细Prompt解析写实视频制作 — SimplyAnnisa · 2026-08-29
- Minimax H3 Max 视频生成快过播放，Twitch 直播无限维度有线电视 — menhguin · 2026-08-29
- Midjourney风格码实测：暖亮厚涂的阳光质感 — op7418 · 2026-08-29
- 趣味测试：让 AI 生成一个“极度荒谬”的现实 — aerodynamic_werewolf · 2026-08-29
- MiniMax H3 优化实测：Turbo 模式提速 2 倍 — BluePointDigital · 2026-08-29
- 单条提示词 2 分钟生成整段视频：H3 Max 加 Nano Banana Pro — isidentical · 2026-08-29