阿里达摩院等提出 Benchmark Health Index,158 个基准接受体检
jiqizhixin · x · 2026-11-17
SKYEVAL 与阿里达摩院研究者在扩展版 arXiv 论文中提出 Benchmark Health Index(BHI),用于审计用于比较大模型的评测基准,共分析了来自 117 个模型报告的 158 个基准。
BHI 综合三类信号:
- 区分度(模型分数能否拉开差距)
- 反饱和(距饱和还剩多少挑战空间)
- 影响力(有能力的模型对该基准的采用广度)
用 leave-one-benchmark-out 校准估计模型能力(不依赖被审计基准本身),再以 CRITIC 加权合成总分。鲁棒性测试显示,即使移除 30% 的模型,基准排名的 Spearman 相关性仍高于 0.97。该工具可用于在模型进步时挑选和复审评测集。
「研究」频道最新
- NVIDIA 开源 USDCraft 机器人数据集,含 3D 与图像多模态 — nvidia · 2026-11-17
- 新设计-构建-测试管线将蛋白表达质粒通量提升约24倍 — anshulkundaje · 2026-11-17
- Penn State 论文 BadEvolve:注入 20 个任务即可让自进化 Agent 自种后门,成功率 79.6% — rohanpaul_ai · 2026-11-17
- Daniel Rock 讲座:AI 与科学研究中转移的瓶颈 — erikbryn · 2026-11-17
- Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统 — sebkrier · 2026-11-17
- 同行评审之争:顶级学者辩「会议审稿是保护思想多样性,还是失效的信号」 — neurocy · 2026-11-17