NeurIPS 论文:LLM 评测隐含测量误差,数据越多失真越重

IanArawjo · x · 2026-11-18

NeurIPS 新论文《Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking》指出:评测驱动着部署决策、安全标准与研究结论,但学界普遍忽略 prompt、judge 模型、agent harness 等环节引入的噪声,导致对基准测试和标注误差的系统性低估,且数据量越大问题越严重。转发者 srchvrs 评价这是一篇及时重估生成式 AI 时代统计检验方法的论文:传统评估实践常低估不确定性,但未必需要全新统计方法,关键在于正确刻画不同来源的方差与相关性。作者后续线程还讨论这对置信区间的影响,以及噪声如何让 benchmark hacking 更容易。

所属事件:NeurIPS 论文:LLM 评测管线中的隐藏测量误差正扭曲基准结果(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →