研究者称 LLM 评测须计入 prompt 与 judge 配置变异

研究者 srchvrs 就 LLM 评测统计方法学提出关键辨析:在固定模型、prompt、judge 和 harness 的条件下,对独立采样任务做传统统计检验是合理的;但若要让结论跨「合理的 prompt、judge 与 harness 配置」成立,检验必须计入这些配置带来的变异。其方差模型显示评测结果方差由任务差异、配置差异与残差噪声组成,单一 prompt 配置下的 prompt 方差误差不会因加大样本量而消失。

2026-11-18 ~ 2026-11-18 · 4 条相关