NeurIPS 2026 手术基准:17 个多模态模型零样本表现薄弱
LMU Munich、TUM、Oxford、Stuttgart 与 ZEISS 合作发布 NeurIPS 2026 Datasets & Benchmarks 基准(SurgKnowBench),在 11 个手术数据集上系统评估 17 个多模态模型的手术理解能力。结果显示通用模型离「懂手术」还很远:零样本条件下器械-动作-组织三元组识别准确率不足 5%,手术阶段识别甚至低于「猜最常见阶段」的基线。
已确认
- 相关论文包括基准本身与后续研究《How to Train a Surgeon? What Generalist AI Agents Can and Cannot Learn from a Library》,后者探讨通用多模态 Agent 能否借助手术教科书、指南与教学视频学会手术判断。
- 将模型升级为配备分割工具和精选手术资料库(教科书、指南、教学视频)的 agent 后,器械与动作识别有所改善,但安全清单与技能评分依旧未提升,额外的证据有时反而造成误导。
- 作者自陈该基准的局限:未将前沿模型作为 agent 测试、困难集较小、使用离线帧而非实时视频。
为什么重要
- 结果表明工具能帮助模型「看得见」,但还帮不了「判断得准」;安全相关的临床判断仍是通用 AI 的明显短板。
- 尽管存在局限,该基准提供了一张有用的「失败地图」,为后续面向手术场景的模型与 agent 研究指出改进方向。
2026-11-17 ~ 2026-11-17 · 5 条相关
一手来源
- NeurIPS 2026 手术基准:17 个多模态模型零样本准确率不足 5% — maier_ak ·
- 配工具和资料库后,手术 AI 的判断力依然不达标 — maier_ak ·
- NeurIPS 2026 手术基准:通用模型离「懂手术」还很远 — maier_ak ·
- 通用 AI Agent 能否从资料库学会当外科医生? — maier_ak · 2026-11-17
- 【源头】NeurIPS 2026 手术基准:17 个多模态模型零样本准确率不足 5% — maier_ak · 2026-11-17
- 【源头】配工具和资料库后,手术 AI 的判断力依然不达标 — maier_ak · 2026-11-17
- 手术 AI 基准的局限:无前沿模型、离线帧、小困难集 — maier_ak · 2026-11-17
另有 1 条近重复转述:maier_ak