评测方法学之争:统计检验有效,但结论须覆盖 prompt、judge 与 harness 的变异

srchvrs · x · 2026-11-18

搜索与评测领域研究者 srchvrs 提出对 LLM 评测统计方法的两点辨析:1) 在给定模型、prompt、judge 和 harness 的条件下,跨独立采样任务的传统统计检验完全可以成立;2) 但若想得出对「合理范围的 prompt、judge、harness」都稳健的结论,就必须把这些维度本身的变异纳入统计考量——而现有检验方法显然没有做到这一点。这是对当前 AI 榜单与论文评测结论外推性的技术性批评。

所属事件:研究者称 LLM 评测须计入 prompt 与 judge 配置变异(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →