提出预注册分析+合格模型集防评测p-hack
krisgligoric · x · 2026-07-06
研究提出一种防止LLM评测中p-hacking的新协议：预先注册分析方案与一组“合格模型”，然后在预注册后发布的第一个合格LLM上运行确认实验。由于该模型在承诺时尚不存在，因此无法被针对性地“刷”过，从机制上规避了对评测的操纵。
所属事件:研究提出LLM预注册协议以遏制评测p-hacking(7 条相关)→
「研究」频道最新
- 数学顾问组织公开施压,要求 OpenAI 立即公开 Yang-Mills AI 证明 — LucaAmb · 2026-10-27
- 前 Vercel 工程师用线性近似做 UI：一次布局算出所有帧 — shuding · 2026-10-27
- 把设计看成 N 维空间找最短路径，卡片换行不再跳跃 — shuding · 2026-10-27
- 用区间算术证明 UI 在无穷参数组合下永不超限 — shuding · 2026-10-27
- Vercel 把 React 组件编译成真数学函数，UI 迎来微积分时代 — shuding · 2026-10-27
- 东北大学新基准：AI Agent 每 5 次任务就有 1 次越权行事 — rohanpaul_ai · 2026-10-27