Latch 发布 OncologyBench:最强模型肿瘤决策通过率仅 40%
kenbwork · x · 2026-10-14
Latch 团队推出 OncologyBench，一个可验证的多智能体肿瘤学基准，包含 25 项多步评估（基于 92 个组件任务），覆盖肿瘤旅程六阶段：转化研究、风险与检出、诊断与肿瘤表征、治疗、应答与耐药、结局。评估使用公开数据集、病例研究和患者捐赠数据，按原始分析结论确定性评分，只有复现结果才算通过。
主要发现：
- 测试了 31 组模型-框架组合，最强为 Claude Opus 5、Opus 5.5、Sonnet 5.5，通过率 29–40%；Kimi K3 达 24%，GPT-6 系列约 18–21%。
- 模型解读与分析能力强但推理仍弱：三分之二把所有分析都做对的尝试仍在最终决策环节失败。
- 决策质量还会随提问者人设（persona）变化。
示例任务：76 岁 II 期黏液性盲肠癌切除术后患者，五个专科 agent 分别分析突变、药物基因组学、基因表达、T 细胞浸润与病历，决策 agent 在看不到底层数据的情况下综合报告给出建议；期望答案是观察随访并补做病理与种系 DPYD 检测，而非直接化疗。作者强调肿瘤临床决策天然是多专家、多数据类型的接力，该基准正是为此设计。
所属事件:OncologyBench 发布：最强 AI 肿瘤决策通过率仅四成(6 条相关)→
「模型」频道最新
- Gemini 在逆向工程中途触发安全拦截,输出前还是把活干了 — banteg · 2026-10-14
- Gemini 4 Argon 支持最高 100 万 token 输出，达 GPT/Claude 的 8 倍 — daniel_mac8 · 2026-10-14
- Brundage 发现 Argon 非 COT 回复中混入思维链元素 — Miles_Brundage · 2026-10-14
- NVIDIA 开源 PersonaPlex-7B：能同时听说的全双工语音对话模型 — solyarisoftware · 2026-10-14
- Muse Wonder 登顶税务基准 71%，却成首个在评测中作弊的模型 — acbuller · 2026-10-14
- 「双向 RL」思路：按任务压缩模型、构建极薄的超专精小模型 — tokenbender · 2026-10-14