Synthetic Hospital: An Open, Verifiable, Physician-Validated Longitudinal EHR Benchmark
Christine Park, Valerie Chen, Tim Dettmers
cs.AI, cs.DB
2026-09-25
CMU用公开医学教材合成1268名纵向患者、5602次就诊。医生盲测辨真假53%;十个模型里最好的纵向问题清单F1为0.73,全图摘要大约漏一半关键发现。
医学大模型在选择题上已经很能打,进不了真实工作流。临床要做的事是对着一份跨月跨年的病历做诊断、摘要和检索。病历稀疏、有错,证据散落在病程、化验和影像里。公开基准大多是单条 vignette 或选择题;能用的真实 EHR(MIMIC 一类)过不了隐私和数据使用协议,而且金标准只是「当时写下了什么」。模型推理错了,还是病历本身漏了,分不开。
CMU 的 Christine Park、Valerie Chen、Tim Dettmers 用公开医学教育材料造了一座完全合成、可公开分发、每条事实可追溯的纵向医院。
五段流水线,图谱先于叙事。板试题被解析成就诊候选,Kimi 2.5 抽出主诊断、鉴别诊断、次要诊断和带类型的发现,再确定性挂到 ICD-10-CM、SNOMED CT、LOINC,模型给的编码只当候选。每个节点留着源 ID。纵向病人用图聚类拼:人口学兼容,且新就诊必须和簇里至少共享一个正确或次要诊断;每道源题只进一个病人。1,268 个病人来自 5,602 道源题。Kimi 2.5 再写人物画像和跨就诊主诉,问题清单和用药按规则往前传。标签几乎全是图上的确定性函数,只有影像指征的自由文本参考由模型生成,打分看概念重叠,不看措辞。
记录通过 FHIR R4、基于角色的权限,以及 Epic 风格的 13 工具函数调用接口对外服务。任务有四类五组指标:纵向问题清单(严重度加权 F1)、全图摘要(发现级 F1)、专科条件摘要、证据检索(P@5 / NDCG@10)、影像指征(概念 F1)。划分在病人级:公开 200、训练 800(带完整标签,分数在 0 到 1,可当可验证奖励)、留出 268(只走官方打分器)。源题不跨划分。诊断可以复发:留出集 54% 的诊断在训练集出现过,46% 未见过。
10 名执业医师看 10 份病历(5 份把 MIMIC-IV 规则转成同一 schema 的真记录,5 份合成,按领域、性别、年龄和长度配对),100 次判断,真假准确率 53%(95% CI 43–63%,二项检验 p=0.62),跟瞎猜没差。图谱收回医师预注册的 119 条诊断关系里的 111 条(93%)。
10 个模型,没有一个接近天花板。公开划分上的主指标:
| 模型 | 纵向诊断 F1 | 摘要 F1 | 检索 P@5 | 影像概念 F1 |
| Gemini 3.1 | 0.681 | 0.502 | 0.809 | 0.496 |
| GPT 5.3 | 0.703 | 0.489 | 0.833 | 0.518 |
| Kimi 2.5-thinking | 0.732 | 0.532 | 0.811 | 0.517 |
| Opus 4.6 | 0.615 | 0.550 | 0.816 | 0.473 |
| Gemma 3 27B | 0.287 | 0.385 | 0.804 | 0.418 |
| 医师均值(7 人,13 名病人) | 0.664 | 0.051 | 0.888 | 0.282 |
| 医师范围 | 0.21–0.89 | 0.01–0.10 | 0.79–0.96 | 0.21–0.35 |
最好的纵向诊断是 Kimi 2.5-thinking 的 0.73,跟 7 名医师均值持平,低于最好的医师 0.89。摘要最好也只有 Opus 4.6 的 0.55,大约漏一半图上的关键发现。医师在同一套发现级 F1 上只有 0.05,这个数字更像度量口径太碎,不像人不会写病历。检索已经比较成熟,所有模型 P@5 都在 0.74 以上,医师均值 0.89 仍更高。
多智能体循环在证据已经给齐时普遍掉分:摘要和检索掉 0.07 到 0.19。只有纵向诊断这种必须自己拼证据的任务,自检索智能体能涨 0.14 到 0.34;Llama 4 Scout 从单轮 0.554 升到 0.894。失败会话平均吃掉 145k 输入 token,成功的约 60k。
用 GPT 5.3 重写 100 个病人的叙述、标签不动,Kimi 的优势没有跟着生成器走,主指标平均绝对变化 0.034。
这是目前少有的能公开、有金标准、覆盖纵向病历作业的临床 AI 基准。训练划分带确定性分数,可以直接做可验证奖励的强化学习。对做临床 agent 的人,结论很具体:病历检索已经能打,纵向综合和摘要还差一截;上下文已经给齐时,再套一层 agent 循环多半是在烧 token。
医师盲测只有 10 份病历,测的是单份真实感,不是人群流行病学。病例组合来自教育材料,稀有和非典型会偏少。没有显式模拟缺记、自相矛盾和书写错误。Agent 实验只有 3 个模型、100 个病人、一种脚手架。图上没有的诊断,即使写在病历里也不给奖励,chart-neutral 规则所以也不扣分。Kimi 既参与构图又上榜,换生成器的稳健性检查能挡住「文风作弊」,原始构图仍是同一模型。