医疗长文本基准 MLCR-AA 更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一
Artificial Analysis 于 10 月 21 日发布 Wisedocs 医疗长上下文推理基准 MLCR-AA 的方法学升级与新评测结果:模型在总分维度上由 Claude Sonnet 5.5 (max with fallback) 与 GPT-6 Astra (max) 以 41 分段的成绩并列第一,但各细分维度呈现明显分化,且两类头部模型的单任务成本相差接近百倍。
已确认
- 方法学方面,模型收到将任务定位为病历审查的 system prompt,问题置于 2.5 万至 6.4 万 token 的完整合成病历之后,需在一段话内给出结论与病历依据;答案由三模型评审团打分,评审团一致率升至 69%。
- 60 份专家参考答案经人工复核修订。
- 准确率维度:OpenAI 模型包揽前 27 名中的头部位置(前八),GPT-6.1 Sol (max) 以 96.7% 居首,GPT-6 Astra (max) 以 95.6% 次之。
- 完整度维度:Anthropic 模型包揽各档位前 18 名,Claude Sonnet 5.5 (max with fallback) 以 64.8% 领先,最佳非 Anthropic 模型仅 42.2%。
- 总分要求完整度与准确率同时达标:Claude Opus 5.5 (max with fallback) 完整度 63.3% 但准确率仅 37.2%;GPT-6.1 Sol (max) 准确率最高但完整度受限。
- 性价比分析显示,并列第一的两个模型在单任务成本上相差接近百倍。
为什么重要
- 该基准刻画了真实医疗文书场景下的多文档综合推理能力,结果显示没有模型在完整度与准确率两个维度同时占优,Claude 与 OpenAI 各擅一方。
- 巨大的单任务成本差异意味着在实际部署选型时,"最强"与"性价比"可能指向完全不同的模型。
2026-10-21 ~ 2026-10-21 · 7 条相关
一手来源
- MLCR-AA 方法升级:模型以病历审查员身份答题,三模型评审团一致率升至 69% — ArtificialAnlys ·
- 医疗长文本榜单更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一 — ArtificialAnlys ·
- 医疗病历问答准确率榜:OpenAI 包揽前八,GPT-6.1 Sol 达 96.7% — ArtificialAnlys ·
- 【源头】医疗长文本榜单更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一 — ArtificialAnlys · 2026-10-21
- 医疗榜单完整度榜:Claude 系包揽前三,最佳非 Anthropic 模型仅 42.2% — ArtificialAnlys · 2026-10-21
- 【源头】医疗病历问答准确率榜:OpenAI 包揽前八,GPT-6.1 Sol 达 96.7% — ArtificialAnlys · 2026-10-21
- Claude 与 OpenAI 之外的答案:医疗榜单上完整度与准确率难两全 — ArtificialAnlys · 2026-10-21
- 医疗长上下文榜单更新:Claude Sonnet 5.5 与 GPT-6 Astra 并列第一,单任务成本差近百倍 — ArtificialAnlys · 2026-10-21
- 【源头】MLCR-AA 方法升级:模型以病历审查员身份答题,三模型评审团一致率升至 69% — ArtificialAnlys · 2026-10-21
- MLCR-AA 医疗长文本基准更新:2.5万至6.4万 token 病历推理 — ArtificialAnlys · 2026-10-21