2026-10-23
一个模型分饰五名医生,从主诉出发自己问诊并开检查。GPT-5 在 NEJM 疑难病例上准确率 83.2%,开卷全科医生平均 36.1%,急诊住院是 80.3% 对 46.8%。
医学大模型的常规考法,是把主诉、病史、体检和化验一次塞进提示词再选诊断。这测不出下一句该问什么、这项检查值不值得开、证据够了该不该停。问少了会过早收口,问多了账单会爆。NEJM 的临床病理讨论(CPC)是为专科教学挑的,关键线索常常已经写在开头里。急诊记录更接近日常病种,信息却是一点点长出来的。缺的评测是:一开始只有几句主诉,之后每一步自己决定问什么、开什么、何时下诊断,而且每次检查都算钱。
Sequential Diagnosis Benchmark(SDBench)用了 2017-2025 年连续 304 例 NEJM CPC,外加 325 例从急诊收入院的 MIMIC-IV-ED。开局两三句。NEJM 用病例自带开头,MIMIC 的开头由模型按出院小结改写。每轮只能问病史或体检、开检查,或提交一次最终诊断。提问和开单不能混在同一轮。
Gatekeeper 看得到全文和最终诊断,但只发放这项提问或检查在真实诊疗里能拿到的客观结果。病历没写的项目若回「没有」,会暗示路走偏了,于是改成回一份与其余记录一致、看不出是补写的结果。MIMIC 补写更多,另有一本账只交给评分。医生抽查 508 条 NEJM 侧回复,标出 8 条,会审后没有一条泄露诊断。
Judge 用五级量表,4 分和 5 分算对:核心疾病正确,处理不会因此改掉。医生复核测试集上 56 条系统诊断和 56 条人类诊断,二值化后 Cohen's κ 为 0.70 和 0.87。5 次分歧里有 4 次,医生认为自动评分偏严。费用用凯撒永久华盛顿中心医院的公开收费表,自由文本映射到 CPT,方法稿里命中率超过 98%。问诊折成一次 300 美元诊费。
系统叫 Diagnostic Orchestrator(DxO),对外也称 MAI-DxO。一个模型分饰五个角色。Dr. Hypothesis 维持前三名的概率鉴别诊断。Dr. Test-Chooser 每轮最多开三项能分开领先假设的检查。Dr. Challenger 找锚定,提能推翻第一诊断的检查。Dr. Stewardship 在等价时改推便宜方案。Dr. Checklist 只核对名称和内部是否自洽。确信度过线才允许下诊断。预算模块可以看价后撤单。并行聚合把多条路径的检查费相加、重复项合并,那不是一个病人的账单。
开发底座是 GPT-4.1,正文主结果用 GPT-5,单例推理约 0.15 美元。模型基线是一段只规定标签的短提示。医生走同一界面:CPC 闭卷 21 人、开卷另 19 人,都是美英全科或住院全科,中位从业 12 年。闭卷禁止搜索和生成式工具。开卷允许 UpToDate、NICE,排除 ChatGPT 和 OpenEvidence。急诊由其中 16 人开卷完成。最近 56 例 CPC 和 71 例 MIMIC 在开发期不碰。
不设预算的 DxO 加 GPT-5,CPC 准确率 83.2%,平均 5431 美元。短提示的 GPT-5 是 78.9%、8409 美元。预算收紧后,80.9% 对应 2241 美元,79.6% 对应 1303 美元。并行聚合到 84.5%,花费 8945 美元。
医生数字在留出的 56 例上:闭卷 22.3%、3049 美元,开卷 36.1%、4725 美元。每人大约做 35 例,闭卷共 764 份诊断,开卷 662 份。开卷单例从 11.9 分钟、7.1 项检查,升到 18.1 分钟、12.1 项检查。准确率最高的医生是 51.8%,论文写明这一成绩在准确率和费用上仍被 DxO 压过。摘要里的 36.1% 是开卷数字。83.2% 对 22.3% 约 3.7 倍,宣传口径里的「近四倍」用的是这个更严的分母。
急诊更接近日常病种。不设预算的 DxO 为 80.3%、4979 美元。收紧预算后是 73.2% / 2634 美元,以及 69.5% / 2037 美元。开卷医生平均 46.8%、3400 美元,最好的一位 62.5%、3332 美元(40 例)。80.3% 对 46.8% 约 1.7 倍。
| 设置 | 准确率 | 平均花费 |
| DxO+GPT-5,CPC,不设预算 | 83.2% | 5431 美元 |
| DxO+GPT-5,CPC,收紧预算 | 80.9% / 79.6% | 2241 / 1303 美元 |
| 开卷医生,CPC(56 例) | 36.1% | 4725 美元 |
| 闭卷医生,CPC(56 例) | 22.3% | 3049 美元 |
| 短提示 GPT-5,CPC | 78.9% | 8409 美元 |
| DxO+GPT-5,急诊,不设预算 | 80.3% | 4979 美元 |
| 开卷医生,急诊 | 46.8% | 3400 美元 |
83.2% 是论文给出的 CPC 主数字。方法稿写模型主图覆盖全部病例,医生只统计 56 例,测试集表现与验证集相当,但没有另给测试集百分比。发表版图 3 的图注写这些点画在测试集上。两组百分比不宜当成 304 例上的逐例配对。
策略差得很具体。同一批 CPC 上,医生平均问 5.6 个问题就开出第一项检查,DxO 先问 25.5 个。抽查的一例坏血病写明了这个差别:胃旁路术后少吃水果,接着跌倒、腿近端无力、牙龈出血、掉牙。短提示 GPT-5 锚定在广泛神经病,花费 8806 美元,没点到坏血病。DxO 把饮食和出血抬进鉴别诊断,加一项血浆维生素 C,花费 1161 美元,诊断成立。这是个例,不是平均。
编排不绑 GPT-5。各家模型接上之后,CPC 准确率平均提高 7.9 个百分点,急诊平均提高 4.4 个百分点。Gemini 2.5 Flash 在 CPC 上被抬了 24.4 个百分点。急诊上,测过的模型里 Gemini 2.5 Pro 没有提升。系统在 GPT-4.1 上调好,发表前用 GPT-5.5 整套重跑,提示词和编排都没改。正文只说 Pareto 前沿还在,相对短提示的优势还变大了,新的准确率留在补充材料里。DxO 错的时候,多半是临床相邻、特异度不对的病名。优势集中在少见暴露和旅行相关感染这类靠病史才能分开的病。医生错的时候,离参考诊断更远。
静态榜测的是材料齐了会不会选。SDBench 把「会不会自己找齐、找齐之前花多少钱」放进分数。五个角色是提示词里的分工,底座可以换。GPT-5 上,不设预算的配置比短提示少花约 3000 美元检查费,准确率高 4.3 个百分点。
相对开卷医生,同时更准又更省的是带预算的工作点。CPC 上 80.9% 对 36.1%,花费 2241 对 4725 美元。不设预算的 83.2% 比开卷医生更贵。急诊上,4979 美元的 80.3% 也贵过医生的 3400 美元。2634 美元的 73.2% 才是又准又便宜的那一档。「又准又省」说的是前沿上的某些点。
基准代码以 MIT 协议放出,含 Gatekeeper、Judge、费用估算和基线编排。NEJM 病例要向期刊申请非商业许可,MIMIC 子集走 PhysioNet 资质。作者把结论限制在受控的纯文本基准里,并写明没有证明它强过专科医生或多学科团队。
病例全是已有明确诊断的 CPC 和急诊住院,没有健康人或良性自限的就诊,病种比例不是门诊。CPC 是挑出来的难例,全科医生输得很多并不意外。作者原以为急诊上差距会小很多。结果医生从 36.1% 升到 46.8%,DxO 仍在 80% 附近。这一落差还没有和对口专科团队比过,作者预期那一比会收窄。
两边都在跟一个看过全文的文字门卫说话。508 条抽查盖不住三百多例、每例几十轮。补写的化验如果系统性地太像教科书,善于追问的系统会拿到过干净的决定性证据。影像、波形、病理切片在这里都是文字转述。Judge 只判病名,不判治疗是否安全,也不看后续病程。费用表是美国收费目录的近似,换一个国家,检查顺序可能变。
人的样本不厚。CPC 闭卷 21 人、开卷 19 人,每人大约做 35/56 例,而且是全科。闭卷还拿掉了他们日常会用的搜索。把 22.3% 当成医生水平再去除 83.2%,倍数会偏大。
交互格式也不一样。报告的模型结果允许一轮里最多 5 个问题、3 项检查。医生界面是一轮一个动作。方法稿用 o3 在测试集上比过两种模式,准确率同为 83.9%,单轮更便宜,3991 对 5084 美元。那是 o3 的消融,不是 GPT-5 主结果。并行聚合的 8945 美元把多条路径加在一起,不能当成一个病人的花费。
全体作者都是微软员工并持有公司股权,相关美国专利申请号是 19/722,651。GPT-5.5 的重跑没有在正文给出新准确率。一句「优势变大」,不能推出编排优势会一直放大到可以进门诊。