研究者指出:LLM 评测加样本量也降不了 prompt 方差误差

srchvrs · x · 2026-11-18

srchvrs 讨论评测统计方法学的关键盲点:传统统计检验在固定模型、prompt、judge 和 harness 时的独立任务抽样是合理的,但要让结论跨「合理的 prompt、judge、harness」成立,必须计入这些维度的变异,而现有检验完全没覆盖。

配图给出方差分解模型:评测均值方差 = 任务间方差/N + prompt-judge 配置方差/M + 残差/NM,并指出关键观察——增加测试样本数 N 并不能降低 prompt 配置带来的那项误差。结论是 prompt 方差是评测误差的下限来源,堆样本量无效。

所属事件:研究者称 LLM 评测须计入 prompt 与 judge 配置变异(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →