2026-09-19
约翰霍普金斯等用八名临床医生标注540条开源模型回复：72.8%无事实错误，仅45.7%信息完整，漏关键信息比幻觉更常见。
医疗聊天机器人已经能把患者问题答得像那么回事，但患者不是医生，分不出哪句是编的、哪句漏了要命的红旗。现有医疗评测多是选择题（MedQA、MedMCQA）或临床笔记任务，量的是模型懂不懂医学知识，不是患者当面问一句会不会被带进沟里。
长问答数据集里，MEDHALU 标幻觉，K-QA 标「必须有 / 最好有」，HealthBench 给整段对话打 rubric。几乎没有一份同时由执业医生给事实性、完整性、模型确定性和出处打标。MedExpert 补的就是这块：面向患者的长回答，由精神科和产科一线医生按临床伤害分级标注。
约翰霍普金斯大学与 RTX BBN 先圈了两组专科：孕期护理，以及 18–30 岁年轻人的精神健康（抑郁、双相、焦虑、ADHD）。选这两块，是因为答错或漏答的临床代价特别高。他们开了 7 场医生焦点小组、8 次患者访谈，一共 44 人，抽出每专科 6 类主题，再由临床团队写成既不空泛也不送分的问题：精神健康 56 题，孕期 52 题。
五套开源模型各答一遍：Llama-2 Chat 7B、Llama 3.3 70B Instruct、OLMo-2 13B、Gemma-2 Instruct 27B，以及医学微调的 OpenBioLLM-70B。只用开源，是为了别人能复现。得到 540 条问答对。
八名执业临床医生分专科标注，时薪 75 美元。孕期组 4 名 MD（1 名主治、3 名住院医），精神健康组 3 名 MD 加 1 名临床社工；社工不标用药题。事实性按句段标错误，完整性按整段标遗漏，两者都绑临床后果：
另外还标模型确定性（High / Moderate / Low）和有没有点名权威来源。32 条做了双标，用来算一致性。
这套标签同时拿来压自动检错。事实性走 MedScore：把回答拆成原子断言再核验，对照 GPT-4o 内知识与检索 MedCorp（PubMed、StatPearls、教材，不含维基百科）。遗漏检测对照零样本 GPT-4o，以及从 HealthBench 借完整性 rubric 的 in-context 方案。整套自动实验花费约 30 美元。
事实性看起来还行，完整性不行。
| 模型 | 无事实错误 | 无遗漏 | 致命事实错误 | 致命遗漏 |
| Llama-3.3 70B | 79.6% | 50.9% | 0% | 0% |
| Gemma-2 27B | 77.8% | 40.7% | 0% | 3.7% |
| OpenBioLLM-70B | 77.8% | 45.4% | 2.8% | 6.5% |
| Llama-2 7B | 64.8% | 43.5% | 0.9% | 1.9% |
| OLMo-2 13B | 63.9% | 48.1% | 0.9% | 7.4% |
| 全体 | 72.8% | 45.7% | 0.9%（5条） | 3.9%（21条） |
Llama-3.3 最稳。OpenBioLLM 作为医学专用 70B，并没有压过通用的 Llama-3.3。句级看，10175 句里 97.8% 无事实错误，胡编是稀疏的；整段漏关键信息的仍超过一半。
确定性标注里 67.0% 为 High、29.6% Moderate、3.3% Low。高确定性大致对应更少错误。出处几乎没有：540 条里只有 9 条点了权威机构名。
自动检测这边，加检索的 MedScore+MedRAG 能抓到 94.6% 带事实错误的回答，总体准确率却只有 32.0%，因为它把大量无错回答也打成错。只靠 GPT-4o 内知识的版本召回 61.2%，总体准确率 54.1%。句级「有错句」准确率：MedRAG 36.8%，GPT-4o 仅 11.2%。零样本遗漏检测召回 91.5%，HealthBench-ICL 为 84.6%，两者总体准确率都刚过 54%。假阳性很高：模型几乎从不判定「没有遗漏」。
更扎手的是「事实正确」和「临床妥当」不是一回事。有一条回答说大麻可作 PTSD 辅助治疗，检索能从文献里找到支持，标注医生的评语是：绝不会建议任何人用任何剂量的大麻管 PTSD。
双标一致性很低。Krippendorff's α：确定性 0.22，有无遗漏 0.26，有无事实错误是 −0.26。作者说差一级严重度不算真分歧，即便放宽，事实严重度仍是负数。32 条双标样本也偏小。
做患者侧医疗助手，别再只拿选择题当过关证明。漏掉停药警告、自杀危机资源、孕期红旗，比偶尔编一个术语更常见，也更危险。数据已开源，适合拿来压自动事实核验和遗漏检测，不适合当「谁第一」的排行榜。
医学专用 70B 没赢过 Llama-3.3，长回答安全上，领域微调不是免费午餐。出处几乎全缺，和利益相关方最关心的「这话从哪来」对不上。
作者承认标注主观性很大：指南解读不同、年资不同、可得性启发（自己见过坏结局就容易把伤害打高）。负的事实性 α 意味着「这句话算不算错」在医生之间都吵不清楚，拿它当自动系统的金标准要打折。
生成侧没有闭源商业模型，只有开源五套，温度 0.1。题目是医生代写的患者口吻，不是真实就诊记录。只有两个专科、单轮问答，覆盖不到多轮对话和分诊。遗漏检测的提示词明确让模型宁可多标，所以高召回、低精确并不意外。一致性只在 32 条上算，统计上撑不起「标注可靠」的结论。