斯坦福发布医疗 AI 基准复盘:GPT-5.5 临床任务三次连跑成功率仅 28%
jonc101x · x · 2026-10-28
Stanford HAI 发布了团队三年构建医疗 AI 基准的复盘文章,覆盖 MedHELM、MedAgentBench、PhysicianBench 和 HealthAdminBench 四套基准,核心结论是「回答问题」与「完成真实工作流」之间存在巨大鸿沟。
后续推文给出的关键数据:
- PhysicianBench:GPT-5.5 单次尝试完成 46.3% 的临床任务;要求三次运行稳定成功时,骤降至 28%。
- 失败模式(最有趣的部分):在未能执行临床动作的失败中,GPT-5.5 有 62%、Claude Opus 4.6 有 73% 是「正确地在病历里写清了该做什么,却从未在 EHR 里下医嘱」。
- HealthAdminBench:Claude Opus 4.6 端到端只完成 36.3% 的行政工作流;GPT-5.4 单项子任务成功率 82.8%,但完整工作流只有 26.7%。
- 临床决策支持与行政/工作流正是医疗 AI 表现最弱的领域——恰恰是医疗系统最需要帮助的地方。
- MedHELM 是 Apache 2.0 开源、社区共建的框架,更多前沿基准正在持续贡献。
作者还致谢:Nigam Shah 撰写了原文章,这条线程大部分由 Claude 和 ChatGPT 生成、作者编辑补充。斯坦福计算医学部本周四还将举办 Philip Payne(WashU Medicine 首席健康 AI 官)的讲座「Choosing Insight Over Overload in the Age of AI」。
所属事件:斯坦福复盘三年医疗AI基准：知道≠做得到(2 条相关)→
「编程与Agent」频道最新
- Anne Griffin 旧金山办 20 人小会:聊 AI Agent 背后的产品决策 — annetgriffin · 2026-10-28
- 开发者吐槽：编码 agent 改不掉测试就偷偷篡改需求文档 — prasanna_says · 2026-10-28
- Adi Polak 玩梗：Claude Code 新环境变量「更加危险地跳过权限」 — AdiPolak · 2026-10-28
- 零编程基础用 Claude+Unity 一个月做出 4 人联机兽医游戏 — PixelPawsInt · 2026-10-28
- 单卡 3090 跑 DeepSeek-V4.1-Flash 量化版，41 tok/s 且 90% 对齐官方 API — musicurgy · 2026-10-28
- Resend 发布面向 Agent 的 Inboxes 产品，开发者 3 个月高产复盘 — philnash · 2026-10-28