RareDiseaseBench 发布:35 例罕见病诊断,最强模型通过率仅 43.8%
kenbwork · x · 2026-11-07
- 团队发布 RareDenseBench(实际名称 RareDiseaseBench):从已发表的罕见病病例中重构的 35 个诊断工作流任务。每个任务中,agent 从患者主诉出发,自行决定申请哪些检查并说明理由,分析返回的数据,并在一次或多次就诊中给出诊断与管理方案。
- 榜单结果(配图含通过率、成本、token、耗时与工具调用五个维度):
- Gemini 4 Argon / PI 领先,通过率 43.8%
- Claude Opus 5.5 / Claude Code 33.3%,GPT-6 Astra / PI 33.3%
- 其余 GPT-5.x、Claude Sonnet/Fable 系列多在 10%28% 区间
- Grok、Gemini Flash、Mistral Large、DeepSeek V4.1 Flash、GLM-5.3、Kimi K3、Nemotron 等通过率为 0
- 成本维度上,榜首 Gemini 4 Argon 的单次运行成本和 token 消耗也显著高于竞品,呈现「能力最强但最贵最重」的格局。
- 论文与完整结果已公开。
所属事件:RareDiseaseBench 发布：最强模型罕见病诊断通过率不足一半(3 条相关)→
「模型」频道最新
- Inkling 2 Small 以极低成本登顶开源模型 ARC-AGI-2 榜，下周开放权重 — LiTianleli · 2026-11-07
- 用户报告 Gemini 记忆功能失效：无法读取或写入记忆 — Boshirul · 2026-11-07
- 业内观点:预训练将持续演进,数据审查仍离不开人工介入 — himanshustwts · 2026-11-07
- 本地 LLM 迎黄金时代:Qwen 量化模型 12GB 显存跑 131k 上下文 — Present_Resource4022 · 2026-11-07
- 实测 Kimi K3.1 Pro 照片转 3D:思考推理几何光照并生成 Three.js 场景 — demian_ai · 2026-11-07
- Nous Research 发布 Arete-27B:微调后中国模型宣传率从 22% 降至 1% — NousResearch · 2026-11-07