13 个模型坐进全科医生诊室跑 195 场问诊:诊断都会,安全开药翻车
radeon2000 · reddit · 2026-10-22
澳大利亚全科医学住院医师自建的 Crook 基准让 13 个 AI 模型扮演 GP,通过工具调用完成完整问诊:自由文本问诊、查体、开检查、开药、转诊,并给出最可能诊断和不能漏的诊断。共 195 场问诊(13 模型 × 5 病例 × 3 次),代码按病例要点逐项评分,不必要的检查和危险开药会被重罚。
核心结果
- 诊断不是分水岭:191/195 场命名了正确诊断,但总分从 27% 到 85% 不等——拉开差距的是问诊史采集和安全开药
- 榜首:GPT-6.1 Sol 和 GPT-6 Astra(85%),Gemini 4 Argon(82%)、Qwen3.8 Max(81%)、Claude Fable 5.1(80%)、Grok 4.7(79%);最佳开源权重模型 DeepSeek V4 Pro(68%)
- 病历不等于病人:一位青霉素过敏患者病历写「无已知过敏」,39 场中 16 场被开了青霉素,其中 14 场模型根本没问过敏史;另一位患者服用了西地那非,5 次被给 GTN,无一先问其他用药
- 多问才有收获:红旗征发现数与提问数强相关(r = 0.88),但没有模型用满 50 问预算
- 成本悬殊:GPT-6.1 Sol 得 85 分每场约 3 美分,Claude Fable 5.1 得 80 分每场约 1.93 美元
- 排名与两周前不同病人模型、旧评分规则的运行高度一致(Spearman 0.92)
一位 GP 住院医师快速各玩一次得 31%——作者强调这是游戏评分而非「AI 胜过医生」。基准、代码、全部 transcript 开放,论文将提交 arXiv。
「模型」频道最新
- 上海 AI Lab 开源 Sage-A1.5：35B MoE 本地跑，SWE-Bench Pro 61.2% — vllm_project · 2026-10-22
- 有人怀念 Yi 系列模型：当年其实相当能打 — code_star · 2026-10-22
- 学者用 Grok 一夜揪出 227 个疑似阿联酋水军账号 — FlorianGallwitz · 2026-10-22
- unsloth 发布 RecursiveSI/flint 的 GGUF 量化版本 — unsloth · 2026-10-22
- Generalist AI 展示 GEN-1.5 机器人装箱翻车自纠,物理推理链亮相 — chris_j_paxton · 2026-10-22
- 用户质疑 OpenAI「Approve for me」功能是 token 消耗暴增元凶 — ssh4net · 2026-10-22