斯坦福医疗AI基准复盘：模型会答题却完不成临床工作流
斯坦福 HAI 发布医疗 AI 基准三年建设复盘，覆盖 MedHELM、MedAgentBench、PhysicianBench 与 HealthAdminBench 四套基准，核心结论是「回答问题」与「完成真实工作流」之间存在巨大差距——聊天机器人会答题，但作为 Agent 执行真实临床任务时远不可靠。
已确认
- 基准数据：PhysicianBench 实测 GPT-5.5 临床任务单次尝试完成率 46.3%，连续三次运行均成功则降至 28%；HealthAdminBench 显示 Claude Opus 4.6 行政工作流端到端完成率仅 36.3%，GPT-5.4 单项子任务成功率 82.8% 但完整工作流仅 26.7%。
- 失败模式：未能执行临床动作的案例中，GPT-5.5 占 62%、Claude Opus 4.6 占 73% 是 Agent 在病历中正确记录了该做的事，却从未在 EHR 系统中下达医嘱——「知道该做什么」不等于「做得到」。
- MedHELM 发现临床决策支持与行政/工作流是医疗 AI 表现最弱的领域之一，而这恰是医疗系统最需要 AI 帮助的地方；MedHELM 为 Apache 2.0 许可、社区共有的开放基准框架，持续接纳新基准贡献。
- 作者 jonc101x 在线程开篇提出「Chatbots say things. Agents do things.」的二分法，并追问要让人们信任 AI Agent 真正执行临床任务（而非仅提供信息）还缺什么。
- 线程附复盘文章链接并预告周四斯坦福计算医学部讲座「Choosing Insight Over Overload in the Age of AI」，主讲人 Philip Payne 来自 WashU Medicine。
- 作者在致谢中自曝：关联文章大部分由 Nigam Shah 撰写，线程本身大部分由 Claude 和 ChatGPT 生成，再经作者编辑加入个人观点。
为什么重要
- 稳定性缺口（单次通过 vs 三连通过）说明医疗场景下模型可靠性仍不足以托付真实临床任务，尤其是决策与执行闭环的最后一环——EHR 医嘱下达。
- 全部基准开源（Apache 2.0），为社区提供了可复现的评估标准，指向「信任医疗 Agent」这一尚未解决的核心问题。
2026-10-28 ~ 2026-10-28 · 11 条相关
一手来源
- 斯坦福发布医疗 AI 基准复盘:GPT-5.5 临床任务三次连跑成功率仅 28% — jonc101x ·
- GPT-5.5 医疗任务单次通过率 46.3%，三连稳定仅剩 28% — jonc101x ·
- HealthAdminBench:Claude Opus 4.6 行政工作流端到端完成率仅 36.3% — jonc101x ·
- 医生视角谈 AI:聊天机器人会答题,但做不了病历和下医嘱 — jonc101x · 2026-10-28
- 知道该做什么不等于做得到:医疗认知工作流全流程拆解 — jonc101x · 2026-10-28
- 【源头】斯坦福发布医疗 AI 基准复盘:GPT-5.5 临床任务三次连跑成功率仅 28% — jonc101x · 2026-10-28
- 【源头】GPT-5.5 医疗任务单次通过率 46.3%，三连稳定仅剩 28% — jonc101x · 2026-10-28
- 医疗 AI 基准最典型失败:62%-73% 是写对了病历却没下 EHR 医嘱 — jonc101x · 2026-10-28
- 【源头】HealthAdminBench:Claude Opus 4.6 行政工作流端到端完成率仅 36.3% — jonc101x · 2026-10-28
- 医疗 AI 最弱环节恰是临床决策支持与行政工作流 — jonc101x · 2026-10-28
- MedHELM:Apache 2.0 开源社区共建医疗基准框架 — jonc101x · 2026-10-28
- 信任医疗 Agent 执行真实临床任务还缺什么 — jonc101x · 2026-10-28
- 作者自曝:线程由 Claude 和 ChatGPT 撰写,文章出自 Nigam Shah — jonc101x · 2026-10-28
- 斯坦福计算医学部将办讲座:AI 时代的洞察优于信息过载 — jonc101x · 2026-10-28