专题 · FULL STORY
MLCR-AA 医疗基准更新:Claude 与 GPT-6 争锋
Artificial Analysis 于 10 月 21 日升级 Wisedocs 医疗长上下文推理基准 MLCR-AA 的方法学并发布新结果,Claude Sonnet 5.5 与 GPT-6 Astra 并列第一;次日其进一步对 14 个模型进行医疗能力横评,显示 Anthropic 覆盖更全、OpenAI 更准。
2026-10-21 ~ 2026-10-22 · 2 集 · 9 条
第 1 集 · 医疗长文本基准 MLCR-AA 更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一(2026-10-21,7 条)
Artificial Analysis 于 10 月 21 日发布 Wisedocs 医疗长上下文推理基准 MLCR-AA 的方法学升级与新评测结果:模型在总分维度上由 Claude Sonnet 5.5 (max with fallback) 与 GPT-6 Astra (max) 以 41 分段的成绩并列第一,但各细分维度呈现明显分化,且两类头部模型的单任务成本相差接近百倍。
已确认
- 方法学方面,模型收到将任务定位为病历审查的 system prompt,问题置于 2.5 万至 6.4 万 token 的完整合成病历之后,需在一段话内给出结论与病历依据;答案由三模型评审团打分,评审团一致率升至 69%。
- 60 份专家参考答案经人工复核修订。
- 准确率维度:OpenAI 模型包揽前 27 名中的头部位置(前八),GPT-6.1 Sol (max) 以 96.7% 居首,GPT-6 Astra (max) 以 95.6% 次之。
- 完整度维度:Anthropic 模型包揽各档位前 18 名,Claude Sonnet 5.5 (max with fallback) 以 64.8% 领先,最佳非 Anthropic 模型仅 42.2%。
- 总分要求完整度与准确率同时达标:Claude Opus 5.5 (max with fallback) 完整度 63.3% 但准确率仅 37.2%;GPT-6.1 Sol (max) 准确率最高但完整度受限。
- 性价比分析显示,并列第一的两个模型在单任务成本上相差接近百倍。
为什么重要
- 该基准刻画了真实医疗文书场景下的多文档综合推理能力,结果显示没有模型在完整度与准确率两个维度同时占优,Claude 与 OpenAI 各擅一方。
- 巨大的单任务成本差异意味着在实际部署选型时,"最强"与"性价比"可能指向完全不同的模型。
- 医疗长文本榜单更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一 — ArtificialAnlys · 2026-10-21
- 医疗榜单完整度榜:Claude 系包揽前三,最佳非 Anthropic 模型仅 42.2% — ArtificialAnlys · 2026-10-21
- 医疗病历问答准确率榜:OpenAI 包揽前八,GPT-6.1 Sol 达 96.7% — ArtificialAnlys · 2026-10-21
- Claude 与 OpenAI 之外的答案:医疗榜单上完整度与准确率难两全 — ArtificialAnlys · 2026-10-21
- 医疗长上下文榜单更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一,单任务成本差近百倍 — ArtificialAnlys · 2026-10-21
- MLCR-AA 方法升级:模型以病历审查员身份答题,三模型评审团一致率升至 69% — ArtificialAnlys · 2026-10-21
- MLCR-AA 医疗长文本基准更新:2.5万至6.4万 token 病历推理 — ArtificialAnlys · 2026-10-21
第 2 集 · 14 模型医疗基准横评:Anthropic 更全,OpenAI 更准(2026-10-22,2 条)
Artificial Analysis 对 14 个模型进行了医疗能力对比,基准包括 MLCR-AA(基于 Wisedocs 医学长上下文推理基准的私有保留集,同时考核答案完整性与准确性)和 OpenAI HealthBench Professional。结果显示 Anthropic 模型的答案更为全面,而 OpenAI 模型则在准确性和简洁性上表现更佳,两家各有优势。
- Anthropic 模型答得更全,OpenAI 模型更准更简洁:14 模型医疗基准对比 — ArtificialAnlys · 2026-10-22
- 医疗基准横评:Anthropic 答案最全,OpenAI 更准更简洁 — ArtificialAnlys · 2026-10-22