单 prompt 评测的方差不会随样本量消失,论文揭示评测隐含偏差
srchvrs · x · 2026-11-18
srchvrs 讨论论文中的评测方差模型:评测结果方差由三部分组成——任务间差异、prompt/judge 配置间差异、残差噪声。关键结论是:只要仍用单一 prompt 配置评测,无论加多少测试样本,prompt 选择带来的不确定性都不会消失(方差公式第二项与任务数 N 无关)。要在合理的 prompt、judge 与 harness 范围内得出稳健结论,必须把配置间变异也纳入统计考量。
所属事件:研究者称 LLM 评测须计入 prompt 与 judge 配置变异(4 条相关)→
「研究」频道最新
- Ofir Press 对谈 Kaggle 频道:聊基准设计、LLM 评委与编码是否已被解决 — OfirPress · 2026-11-18
- 潜空间思考模型可解释性必然更差吗?研究者质疑这一常见论断 — torchcompiled · 2026-11-18
- 亚马逊CompoundingKernel:千余agent从零写GPU内核登顶SOL-ExecBench三榜 — dair_ai · 2026-11-18
- 植入「手」方向向量实验:Qwen3 与 OLMo 的隐身体表征被调校门控 — repligate · 2026-11-18
- Ropedia Xperience 2:1500+真实场景推动物理AI数据规模化 — _akhaliq · 2026-11-18
- 《CUDA for LLMs》纸质书上市,408 页教写高速 Transformer 内核 — eigenron · 2026-11-18