NeurIPS 新论文:LLM 评测管道的隐性测量误差扭曲基准结果,数据越多越糟
RexDouglass · x · 2026-11-18
SolomonMg 介绍一篇新 NeurIPS 论文《Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking》,核心论点是「评测有问题」:评测结果驱动模型部署、安全标准与研究,但我们普遍忽略 prompt、judge、agent harness 等环节带来的噪声,导致对基准测试与标注误差的系统性低估,而且数据量越大误差反而越严重。作者预告后续将讨论这对置信区间(CI)的含义与修复方法,并引出「benchmark hacking」(实验室只发布最优设置下的分数)为何因此变得更容易的系列讨论。
「研究」频道最新
- Google 赞助 Kaggle Agent 竞赛:40 万美元奖金攻关工程智能体基准 PLE — amankhan · 2026-11-18
- 「基准黑客」疑云:实验室自报 SWE-bench 分数平均高于独立复现 4-5 分 — RexDouglass · 2026-11-18
- MLCB 与 MLSB 合并为一,首个 MLBio 大会 2027 年举办 — anshulkundaje · 2026-11-18
- bf16 会破坏 VLA 微调:本月最有趣的机器人论文之一 — m_wulfmeier · 2026-11-18
- 剑桥哥本哈根论文:LLM 价值观训练会波及其他价值观 — IAugenstein · 2026-11-18
- 欧洲启动 ELAI 虚拟前沿 AI 研究院,覆盖 17 国 33 家机构 — IAugenstein · 2026-11-18