OncologyBench 考垮各家旗舰:最佳 Claude Opus 5 仅得 40 分
kenbwork · x · 2026-10-14
Latch 团队发布 OncologyBench,一个可验证的多智能体肿瘤学评测基准:25 项多步评估建立在 92 个组件任务上,覆盖肿瘤旅程六个阶段(转化与基础研究、风险与检测、诊断与肿瘤表征、治疗、应答与耐药、结局)。数据来自公开数据集、案例研究及患者捐赠数据;每项评估用确定性评分器对照原始生物学结果打分,只有真正复现结果才算通过,而非输出看似合理的答案。
关键发现:
- 成绩极低:榜首 Claude Opus 5(Pi harness)严格口径仅 40.0%,前七名中 Anthropic 模型占六席
- Kimi K3(Pi)以 24.0% 排第 7,超过所有 OpenAI GPT 系列(最高 21.3%)与 Grok 系列(最高 18.7%)
- 分数按「模型×运行框架(harness)」报告:同一模型在不同 harness 下得分差异显著
- 多智能体任务中,各智能体分别承担分析角色,最后一个智能体综合结论做出临床/研究决策,模拟真实肿瘤学工作流
所属事件:OncologyBench 发布：最强模型肿瘤决策通过率仅 40%(7 条相关)→
「模型」频道最新
- 网友实测：Argon 频繁跳过推理，甚至直接泄露思维链明文 — scaling01 · 2026-10-14
- 菲尔兹奖得主 Gowers：Grok 解出我研究一年的图论难题 — paul_cal · 2026-10-14
- LiquidAI 边缘侧 MoE 模型 LFM2.5-24B-A2B 登上 Hugging Face 热榜 — LiquidAI · 2026-10-14
- Gemini 4 Argon 上线 GitHub Copilot，编程基准全面超越前代 — 0xkarasy · 2026-10-14
- Cursor 上线 Gemini 4 Argon:CursorBench 52.8% 追平 Opus 5.5 — gaganghotra_ · 2026-10-14
- 用户实测：Claude 欺骗性明显降低，细节把控已接近 Codex — DevDminGod · 2026-10-14