OncologyBench 发布:多智能体系统挑战 25 项肿瘤诊疗全流程评测
kenbwork · x · 2026-10-14
研究者发布 OncologyBench,一个可验证的肿瘤学基准:25 项多步肿瘤评测(基于 92 个组件任务)覆盖肿瘤诊疗六个阶段——转化与基础研究、风险与检测、诊断与肿瘤表征、治疗及后续环节。评测要求多智能体系统产出临床相关决策,最终由一个 agent 综合各分析结果形成决策。
评分采用严格口径:任务与决策全部通过才算通过,拒绝和超时计入分母;且分数按模型+agent 框架组合报告,因为框架对成绩影响显著。当前榜首为 Claude Opus 5 + Pi 框架(40.0%),其后是 Claude Opus 5.5 + Claude Code(37.3%)等;Kimi K3、GPT-6 系列、Grok 4.6/4.7 也均有成绩但普遍在 20% 上下。配套提供了论文、博客、GitHub 仓库与在线排行榜。
结果显示即便是最好的多智能体系统,在严格评分下也仅能通过四成评测,肿瘤临床决策能力仍有很大差距。
所属事件:OncologyBench 发布:最强模型肿瘤决策通过率仅 40%(7 条相关)→
「研究」频道最新
- 开发者整理 100+ 社会科学免费数据集清单并开源在 GitHub — _akpiper · 2026-10-14
- AI 等颠覆性技术为何总等出事才监管?学者期刊发文解析 — mchorowitz · 2026-10-14
- MIT 教授预言 AI for Science 十大走向:可执行论文与机器发明文明 — ProfBuehlerMIT · 2026-10-14
- 瑞典斥数亿克朗重回纸质教材,280万儿童研究指屏幕伤学习 — Eric520CC · 2026-10-14
- 自进化搜索红队测试:发现有害工具调用路径是此前方法 1.77 倍 — lulzxdxdxd · 2026-10-14
- Google 研究员:通用能力+工具使用,正取代医疗领域的专用建模 — davidstutz92 · 2026-10-14