NeurIPS 论文:LLM 评测管线中的隐藏测量误差正扭曲基准结果

一篇 NeurIPS 新论文《Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking》指出,大模型评测管线中存在被系统性低估的隐藏测量误差,提示与评审环节的噪声会扭曲标注、评测和基准结果。研究表明数据量越多失真反而越重,意味着当前许多 LLM 基准排名和评测结论可能并不可靠,亟需在评测方法上校正这类误差。

2026-11-18 ~ 2026-11-18 · 4 条相关

另有 1 条近重复转述:IanArawjo