提出预注册分析+合格模型集防评测p-hack
krisgligoric · x · 2026-07-06
研究提出一种防止LLM评测中p-hacking的新协议：预先注册分析方案与一组“合格模型”，然后在预注册后发布的第一个合格LLM上运行确认实验。由于该模型在承诺时尚不存在，因此无法被针对性地“刷”过，从机制上规避了对评测的操纵。
所属事件:研究提出LLM预注册协议以遏制评测p-hacking(7 条相关)→
「研究」频道最新
- 新论文提出 PoLar：动态跳过或循环 LLM 层级以优化推理 — ttkciar · 2026-07-22
- 斯坦福团队推出全球最快分词器 Gigatoken — StanfordAILab · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- ICML 教程探讨：优化理论在 2026 年的相关性 — srush_nlp · 2026-07-22
- Reddit 转发 OpenAI 的 ChatGPT 广告页面 — EcstaticAsparagus509 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22