提出预注册分析+合格模型集防评测p-hack
krisgligoric · x · 2026-07-06
研究提出一种防止LLM评测中p-hacking的新协议：预先注册分析方案与一组“合格模型”，然后在预注册后发布的第一个合格LLM上运行确认实验。由于该模型在承诺时尚不存在，因此无法被针对性地“刷”过，从机制上规避了对评测的操纵。
所属事件:研究提出LLM预注册协议以遏制评测p-hacking(7 条相关)→
「研究」频道最新
- 可编程元胞自动机 PCA：让每条规则变成可读代码 — Amidos2006 · 2026-09-11
- GEVIBench 发布:系统对比各类电压指示器的综合基准 — drmichaellevin · 2026-09-11
- 高斯混合建模光传输方程,INRIA 新方法加速全局光照求解 — ssh4net · 2026-09-11
- Goodfire 解读可解释性:海贼语数学模型如何只学数学不学海盗腔 — Machine Learning Street Talk · 2026-09-11
- P vs NP 恐难被 AI 攻破，fortnow 点名 NP vs L 等更可行难题 — fortnow · 2026-09-11
- MaP-WAM 用记忆驱动规划攻克非马尔可夫机器人操作难题 — Sizhe Zhao · 2026-09-11