单 prompt 评测的方差不会随样本量消失,论文揭示评测隐含偏差

srchvrs · x · 2026-11-18

srchvrs 讨论论文中的评测方差模型:评测结果方差由三部分组成——任务间差异、prompt/judge 配置间差异、残差噪声。关键结论是:只要仍用单一 prompt 配置评测,无论加多少测试样本,prompt 选择带来的不确定性都不会消失(方差公式第二项与任务数 N 无关)。要在合理的 prompt、judge 与 harness 范围内得出稳健结论,必须把配置间变异也纳入统计考量。

所属事件:研究者称 LLM 评测须计入 prompt 与 judge 配置变异(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →