研究者指出:LLM 评测加样本量也降不了 prompt 方差误差
srchvrs · x · 2026-11-18
srchvrs 讨论评测统计方法学的关键盲点:传统统计检验在固定模型、prompt、judge 和 harness 时的独立任务抽样是合理的,但要让结论跨「合理的 prompt、judge、harness」成立,必须计入这些维度的变异,而现有检验完全没覆盖。
配图给出方差分解模型:评测均值方差 = 任务间方差/N + prompt-judge 配置方差/M + 残差/NM,并指出关键观察——增加测试样本数 N 并不能降低 prompt 配置带来的那项误差。结论是 prompt 方差是评测误差的下限来源,堆样本量无效。
所属事件:研究者称 LLM 评测须计入 prompt 与 judge 配置变异(4 条相关)→
「研究」频道最新
- Ofir Press 对谈 Kaggle 频道:聊基准设计、LLM 评委与编码是否已被解决 — OfirPress · 2026-11-18
- 潜空间思考模型可解释性必然更差吗?研究者质疑这一常见论断 — torchcompiled · 2026-11-18
- 亚马逊CompoundingKernel:千余agent从零写GPU内核登顶SOL-ExecBench三榜 — dair_ai · 2026-11-18
- 植入「手」方向向量实验:Qwen3 与 OLMo 的隐身体表征被调校门控 — repligate · 2026-11-18
- Ropedia Xperience 2:1500+真实场景推动物理AI数据规模化 — _akhaliq · 2026-11-18
- 《CUDA for LLMs》纸质书上市,408 页教写高速 Transformer 内核 — eigenron · 2026-11-18