七十余个基准上随机抽样大多够准,BestRand 把高误差风险降 50.2%

Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand

George Ling, Shanshan Zhong, Lijin Yang, Hao Yang, Nanxiang Li, Zhongzhan Huang

cs.CL

2026-10-31

BestRand 用 5 个探针模型从随机候选里挑子集,在 70 余个基准上把估计误差降 16.4%,高误差风险降 50.2%,构建成本约为竞品一半。

这篇在解决什么

跑完整套 benchmark 又慢又贵。基准压缩只评一个小题集,用子集均分估计全量分数。缺的是误差有多稳:随机抽一次,大多数时候偏多少,什么时候会偏很远。

MAE(各模型绝对误差的平均)的众数靠近小误差一端,右尾却很长。尾巴来自公共偏移。子集一旦整体偏易或偏难,所有模型的估计朝同一方向漂,像整张卷子偏难,所有人一起掉分。偏移尺度 s 随行为相关系数 ρ 上升。基础模型共享骨架和语料,蒸馏会把行为再对齐,同一批题上就一起对、一起错。Figure 1 里 ρ 全部大于 0,最小 0.07,中位数 0.33,均值 0.35。模型数趋于无穷时,s 仍与 √ρ 成正比,不会消失。

随机抽样高概率够用,剩下的问题是那条低概率的长尾。

方法

N 道题、M 个模型,误差是子集均分减全量均分,子集均匀无放回抽取。

题目难度取该题在全部模型上的均分,子集难度与全量难度之差即公共偏移。定理 1:MAE 超过 t 的概率不低于公共偏移超过 t 的概率,约 2Φ(-t/s)。等相关下 s 随 ρ 上升,子集越短越大;模型再多也消不掉 ρ 那一项。M 很大时,众数以约 0.578/√M 的相对间隙贴向下端点。

BestRand 保持随机抽取,只在多个候选里把公共偏移更小的挑出来。

探针成本是 5 乘池子大小,只付一次。128 次比较吃缓存,不再调用模型。

定理 3 里,探针对齐能压住公共偏移中可解释的那一份,不用知道系数,也不用跑目标模型。方差收缩是参照误差趋于 0 的极限,有限池子没有这个保证。

20% 保留下,探针数、候选数、池子倍数都会降 MAE,后两者很快见顶,默认停在 5、128、4。L1、L2、L∞ 的 MAE 为 1.715%、1.713%、1.714%,差异不显著。探针用均匀、随机或高分段抽取也接近;只抽低分模型更差,相对均匀抽样 p<0.001,MAE 从 1.703% 到 1.756%。

结果

70 个基准,文本 44、多模态 16、agent 10。保留比例 2% 到 50% 六档。每套 5 个构造模型,测试模型不相交。Random 和 BestRand 各 10000 个种子,其他方法 3 个种子。表内是六档平均 MAE,单位百分点:

方法文本多模态Agent
SparseEval (Linear)20.9823.2522.70
SparseEval (MLP)11.8713.6711.74
Anchor Points6.526.538.26
TinyBenchmarks3.653.406.27
ZipBench3.233.196.01
Random3.473.246.14
BestRand2.922.875.43

Random 已和 ZipBench、TinyBenchmarks 同一档,聚类加 IRT 没有甩开均匀抽题。BestRand 三组总平均都最低。相对这三个基线,MAE 平均低 16.4%,落入高误差区的概率低 50.2%。高误差区有两条线:Random 的 70 分位,以及 Random 的均值。文本、多模态、agent 上两条线都是 BestRand 最低。文本上 BestRand 的跨基准标准差是 2.80,均值 2.92,基准之间的离散大于方法之间的差距。

文本 20% 保留:BestRand 1.73,Random 2.11,ZipBench 2.02,TinyBenchmarks 2.26,SparseEval MLP 仍有 11.74。同一档 Figure 2 标出的 P95 降幅,HellaSwag 57%,TruthfulQA 47%,OCRBench 45%,MMMU-Pro 37%,ACEBench 43%,BFCL 36%。多模态 2% 是例外,ZipBench 6.10,BestRand 6.16。

构建成本是观测条数除以题目数,1 表示一个模型跑完全集。探针只覆盖候选池,2% 保留时构建记录为全量方法的 8.0%,六档平均 51.3%。12 个文本基准上,可学习方法成本至少为 1,BestRand 小于 1 就能用。

分布外 BestRand 在五组设置里都最低。分数段、家族、时间三类等权后,MAE 为 BestRand 1.69、Random 1.95、ZipBench 2.19、TinyBenchmarks 2.36,相对后三者低 21.8%。五组分别是中分构造测两端、低分测高分、高分测低分、家族不相交、旧模型构造测新模型。吃历史分数的预测器在每一组上都差于 Random。

CommonsenseQA、OCRBench、Bench2Drive 上,理论和经验分布的众数相差 1.4%、0.7%、0.7%。ρ 对 MAE 的 P95 给出 R²=0.938,s 给出 R²=0.993。

为什么重要

手里只有几个模型的全量分数时,BestRand 比再训一个「子集预测全量」的模型合适。子集定了之后,新模型的估计就是子集均分。12 个文本基准上把构造模型加到数百直至 1000,可学习方法会往上赶,BestRand 仍和最强一档并排。

平均误差上,它相对 Random 只是收紧。更有用的是少碰到所有模型一起漂的子集。强方法的 Spearman 名次相关本来就高,只排榜、不看绝对分时,这点 MAE 不一定改名次。

局限与存疑

有限池子下参照有误差,收缩没有有限样本保证。等相关系数只是近似。正态近似要求 min(k, N-k) 较大。AIME 60 题,Terminal-Bench 89 题,tau-bench 165 题,2% 保留时子集可以只剩一两题,定理盖不住。这些小集和上万题的 MMLU 被放进同一张平均。Agent 的 MAE 均值 5.43,标准差 5.44。

Random 和 BestRand 用 10000 次抽样,其余方法 3 个种子,50.2% 不是同一预算下的估计。6 个基准改成每档 10 个种子后,劣于均值和最差 30% 合在一起,BestRand 相对 Random、ZipBench、TinyBenchmarks 仍低 68.06%。

共享骨架和语料解释了 ρ 为什么下不来,论文没有把重叠程度对 ρ 做回归。多指标基准只留了一个代表指标。VLA 结果没进主表。没有历史分数时 BestRand 启动不了,省下的只是全量探针。

术语

原文与代码

相关论文

全部论文解读