本地部署医疗智能体,一致性门控后近半病例准确率98.9%

2026-09-15

德累斯顿团队把开源模型做成全本地临床智能体,MIRA-v2 上 Qwen-3.5 准确率 90.0%,距 GPT-5.2 仅差 0.7 点;用五次运行语义一致性门控,保留 49.4% 病例时诊断准确率 98.9%。

这篇在解决什么

医院要上能独立跑完问诊流程的临床智能体,同时卡两道门。一道是运营信任:病历、模型、审计能不能留在院内。另一道是决策信任:这一次输出该自动过,还是该交给医生。云端模型已经能在 MIMIC 派生基准上完成多轮问诊和工具调用,但把受保护健康信息送出机构,过不了治理。单次 token 概率或几句口头 hedging,也撑不起多步智能体里会沿工具链放大的采样抖动。

Kather 组把这两件事绑在同一套全本地框架里测:开源模型能不能贴上云端准确率,决策时的可靠性信号能不能把低风险病例筛出来自动处理。

方法

系统是双智能体。Physician Agent 问诊、调工具、提交一条诊断 Dx 和一段推理 R;Patient Agent 按病历摘要扮演患者,基线设置下不许编造未提供的症状。工具覆盖体格检查、血液、尿检、影像报告、微生物、开药和手术申请。对话上限 10 轮,以 admission 结束。为了给本地模型省上下文,他们删掉了原 MIRA 框架的显式 Plan 工具,规划改成隐式的。

可靠性分析的主模型是 GLM-4.5-Air(温度 0.01)。修订阶段按同一套架构补测 Qwen-3.5、GLM-5、GPT-OSS,云端对照 GPT-5.2。推理服务用 vLLM,跑在 NVIDIA H200 和 RTX PRO 6000 上。MIRA-v2 的对错由独立的 Gemini 3.1 Flash-Lite 做临床等价判定;CDM 沿用原榜的模糊匹配。

每个病例独立采样 N=5 次,对 Dx 和 R 各算四类分数:

门控协议很简单:分数过阈值的病例交给智能体,其余进人工复核。压力测试则把 Patient Agent 的主诉和病史整段撤掉,逼它胡编病史,看准确率和置信度怎么一起垮。

结果

MIRA-v2(七种病、551 例,模拟急诊早期评估)上,开源最好的是 Qwen-3.5,准确率 90.0%;GLM-5 89.7%,GLM-4.5-Air 88.4%,GPT-OSS 85.3%。GPT-5.2 是 90.7%。本地头名离云端 0.7 个百分点。肺炎在所有模型里都最差。

CDM(四种急腹症、2400 例)上 Qwen-3.5 到 83.8%,GLM-4.5-Air 81.2%,此前开源榜首 Gemma-3 是 70.5%。错主要落在胰腺炎对胆囊炎、阑尾炎对憩室炎这类重叠。

181 例盲审里,81.8% 被判智能体诊断和 EHR 标签都临床成立;4.4% 是智能体对、标签不对。LLM 判官和医生共识一致率 92.3%(Gwet AC1=0.898)。加一个 MedGemma 鉴别诊断批评者,整体从 88.4% 掉到 87.1%,后面分析全部退回单智能体。

信号流AUC
ConsistencyDx诊断0.860
ProbScoreDx诊断0.747
LingCertR推理0.792
ConsistencyR推理0.785
ConceptDensityR推理0.426

ConsistencyDx 对 ProbScoreDx 的 DeLong 差是 0.114(P=0.0011)。高一致性那一行准确率 99.0%–100.0%,几乎不看内部概率。ConceptDensityR 概念堆得越密越不像对,不能当置信度用。

主诉一撤,准确率从 90.6%(499/551)掉到 70.2%(387/551)。ConsistencyDx 跟着往下掉,AUC 仍有 0.875。肺炎上 ProbScoreDx 和 LingCertR 反而升过 0.90。证据变差时,内部概率不会老实降。

ConsistencyDx≥0.90 时保留 272/551(49.4%),保留集准确率 98.9%,只剩 3 个自动流错误,49 个错误被推进复核。ProbScoreDx≥0.98 只能保住 22.5% 覆盖、97.6% 准确率,到不了同一准确率档。N 从 3 加到 10,同一 0.90 阈值下保留准确率 97.5%/98.9%/99.6%,覆盖 51.7%/49.4%/46.3%。五次聚合大约五倍 token。

VivaBench(990 例、十个专科、PubMed 病案)更难:Qwen-3.5 72.22±0.92%,GPT-OSS 67.96±1.09%。ConsistencyDx 仍最强(AUC=0.719);阈值 0.85 时 89.9% 准确率、32.0% 覆盖。

为什么重要

给医院一个可核对的组合:开源模型本地部署,MIMIC 急诊基准上几乎贴着 GPT-5.2;再用多次运行的语义一致性做分诊,大约一半病例可以自动过,错误被集中到复核流。self-consistency 在这里不当解码技巧,当决策闸门。阈值、升级、审计都留在机构手里。

闸门不便宜。一致性要跑完多次完整多轮问诊,token 近似线性涨。阈值跟着温度、编码器和 N 变,BGE 在 0.85 阈值下覆盖 73.9%,MiniLM 只有 62.6%,保留准确率没有跟着涨。绝对阈值不能跨配置照搬。

局限与存疑

主基准都来自 MIMIC-IV 单中心。评测是文本模拟,没有原生读片。批评者智能体没有整体增益。高一致性里仍有残余错:一部分是就诊时点对后来才确立的病因标签;一部分是过早闭合到熟悉综合征。老年组准确率更低,固定阈值可能把高风险人群推向不同的自动/复核比例,论文把它标成待审计的描述性观察。全程回顾性模拟,没有前瞻工作流,也没有真实医生依赖数据。串行延迟按五倍估。

术语

原文与代码

社区讨论

全部论文解读