作者解释临床基准全私有:为防数据污染与刷榜,将加大难度
MaziyarPanahi · x · 2026-10-07
在被问及基准数据集何处可得时,Maziyar Panahi 解释其临床决策基准全部私有:这是为了避免数据污染和 benchmaxxing(针对性刷榜)。这些评测基于他多年在生产环境中部署的真实临床项目整理而成,均附有方法论说明。他表示临床决策类任务本质上偏容易,会尝试把题目做得更难。
所属事件:669 项临床决策实测 24 个小模型,pplx-decider 95.2% 登顶(6 条相关)→
「研究」频道最新
- Paradigm 首个模型 Limite 1B-Violetto:从零训练冲数学极限 — tensorqt · 2026-10-07
- MIT 把编码 agent 丢上无人岛 30 小时,研究机器「玩耍」 — phillip_isola · 2026-10-07
- GPT-7「证明」乘法提速 0.0000000000163%,数学家笑了 — jxmnop · 2026-10-07
- Symmetrix-XL 开源发布:单 GPU 跑千万原子级 MACE 分子模拟 — CatAstro_Piyush · 2026-10-07
- shaving 常数算突破吗?学者激辩超 n log n 乘法算法 — thomasahle · 2026-10-07
- 换 harness 组件看模型表现:terminal-bench 任务在线实测 demo — yb2698 · 2026-10-07