NeurIPS 新论文:LLM 评测管道的隐性测量误差扭曲基准结果,数据越多越糟

RexDouglass · x · 2026-11-18

SolomonMg 介绍一篇新 NeurIPS 论文《Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking》,核心论点是「评测有问题」:评测结果驱动模型部署、安全标准与研究,但我们普遍忽略 prompt、judge、agent harness 等环节带来的噪声,导致对基准测试与标注误差的系统性低估,而且数据量越大误差反而越严重。作者预告后续将讨论这对置信区间(CI)的含义与修复方法,并引出「benchmark hacking」(实验室只发布最优设置下的分数)为何因此变得更容易的系列讨论。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →