Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65%
MaziyarPanahi · x · 2026-10-27
Maziyar Panahi 发布 Clinical System One v0.2 医疗决策基准的结果:排名前四的临床 AI 模型在原始 669 道测试题上得分 96–97.5%,但在新增的 324 道更难题目上,最好的模型只拿到 65%。
要点:
- 共 43 个决策模型、993 个决策项,其中 88 项需要从图像(注射器、监护仪、标签、输液泵等)读取信息
- 开源权重模型 mammoth-1(Base Labs)以 65.1% 与 API 模型 d1-ultra(Liquid AI,60.5%)并列第一;pplx-decider v1.2 得 56.8%
- 图像题上表现更差:读图最好能读出 80% 的数值,但据此做决策(剂量 vs 医嘱、血压 vs 阈值)最好的只有 49.1%,无一超过 50%
- 难题入选标准是「顶级模型也会做错」,标签尚未经临床医生审核
该基准说明医疗 AI 在真实难例上与刷榜成绩存在巨大落差,尤其图像+决策组合仍是短板。
「模型」频道最新
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27