阿里达摩院等提出 Benchmark Health Index,158 个基准接受体检

jiqizhixin · x · 2026-11-17

SKYEVAL 与阿里达摩院研究者在扩展版 arXiv 论文中提出 Benchmark Health Index(BHI),用于审计用于比较大模型的评测基准,共分析了来自 117 个模型报告的 158 个基准。

BHI 综合三类信号:

用 leave-one-benchmark-out 校准估计模型能力(不依赖被审计基准本身),再以 CRITIC 加权合成总分。鲁棒性测试显示,即使移除 30% 的模型,基准排名的 Spearman 相关性仍高于 0.97。该工具可用于在模型进步时挑选和复审评测集。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →