ML Commons 推出「基准即服务」，试图终结刷榜时代

RexDouglass · x · 2026-10-30

ML Commons 正式推出 "benchmarks as a service"，目标是让基准评测随生态饱和持续演进，从机制上抑制 benchmaxxing（针对榜单刷分）现象。该项目此前一直在低调推进，目前已公布阶段性进展。配套图表展示了多个安全基准的饱和度指数（Saturation Index）：SimpleSafetyTests 已达 1.00 完全饱和，OR-Bench 0.93、SORRY-Bench 0.90、HarmBench 0.73，而 ALERT、AILuminate、SALAD-Bench 等大基准饱和度接近 0，仍有区分力；同时给出各基准 top-5 模型的安全得分分布与题目数量。如果所有评测都按这种模式运行，依赖静态榜单的刷分操作可能成为历史。