Ai2提出评估大模型基准的新指标

ChengleiSi · x · 2026-07-18

Ai2发布新论文探讨语言模型评测的有效性。研究指出，由于随机性，很难判断模型评测结果的提升是真实能力差异还是偶然现象。为此，作者提出了两个简单指标来衡量基准测试的可靠性：**信号**（benchmark区分不同模型的能力）和**噪声**（不同训练步骤带来的随机波动）。