OncologyBench 发布:Claude 系最强也仅通过 29-40% 肿瘤决策
kenbwork · x · 2026-10-14
Latch 团队推出 OncologyBench,一个可验证的多智能体肿瘤学基准:25 项多步评估、92 项组件任务,覆盖从转化研究、风险检测、诊断、治疗、耐药到结局的六个肿瘤诊疗阶段,数据来自公开数据集、病例和患者捐赠数据。
核心发现:
- 测试 31 个模型-框架组合,最强为 Claude Opus 5、Opus 5.5、Sonnet 5.5(通过率 29-40%),Kimi K3 为 24%
- 模型分析和解读能力强,但推理决策弱:三分之二把所有分析都做对的尝试,仍在最终决策上失败
- 决策质量受提问者 persona 影响
典型评估示例:76 岁 II 期黏液性盲肠癌术后患者是否该辅助化疗——五个专科 Agent 分别分析突变、药物基因组学、表达、T 细胞浸润,决策 Agent 只看报告不看原始数据;期望答案是观察随访而非化疗(MSI-high 预示 5-FU 单药无效,DPYD2A 低频 reads 不确定)。
所属事件:OncologyBench 发布：最强模型肿瘤决策通过率仅 40%(7 条相关)→
「漫话AGI」频道最新
- a16z 对谈 Dan Boneh:AI 数学进步正在压缩密码学的「时间检验」 — a16z · 2026-10-14
- AI 末日论该谁举证？加速派与末日派激辩责任归属 — AccBalanced · 2026-10-14
- MIT 博士生合著新书记录科技工人运动兴衰与雇主反扑 — soumitrashukla9 · 2026-10-14
- Tim Sweeney 发问:五分钟生成 AAA 级游戏对人类是好事吗 — max_paperclips · 2026-10-14
- MIT 教授预言 AI for Science 十大走向:可执行论文与机器发明文明 — ProfBuehlerMIT · 2026-10-14
- 瑞典斥数亿克朗重回纸质教材，280万儿童研究指屏幕伤学习 — Eric520CC · 2026-10-14