研究者称 LLM 评测须计入 prompt 与 judge 配置变异
研究者 srchvrs 就 LLM 评测统计方法学提出关键辨析:在固定模型、prompt、judge 和 harness 的条件下,对独立采样任务做传统统计检验是合理的;但若要让结论跨「合理的 prompt、judge 与 harness 配置」成立,检验必须计入这些配置带来的变异。其方差模型显示评测结果方差由任务差异、配置差异与残差噪声组成,单一 prompt 配置下的 prompt 方差误差不会因加大样本量而消失。
2026-11-18 ~ 2026-11-18 · 4 条相关
- 评测方法学之争:统计检验有效,但结论须覆盖 prompt、judge 与 harness 的变异 — srchvrs · 2026-11-18
- 研究者指出:LLM 评测加样本量也降不了 prompt 方差误差 — srchvrs · 2026-11-18
- 单 prompt 评测的方差不会随样本量消失,论文揭示评测隐含偏差 — srchvrs · 2026-11-18
- 评测结论想跨 prompt/judge 成立?统计检验必须计入配置变异 — srchvrs · 2026-11-18