测试集污染研究被 NeurIPS 拒稿，作者晒图：一次污染即击穿不可约误差
RylanSchaeffer · x · 2026-10-15
研究员 Rylan Schaeffer 分享了被 NeurIPS 2026 拒收的论文《Test Set Contamination of Generative Evaluations》，他不认同审稿意见遂公开发布。
核心发现：研究生成式评测（如 MATH）的测试集污染与判别式评测的异同。最有趣的结论是——预训练语料只要接触过一次测试集，损失就能低于完全无污染语料的不可约误差下限，从计算效率角度看相当于“无限 CE 收益”。配图显示随重复次数（replicas）从 1 增到 316，MATH 测试集损失持续大幅下降。
论文还系统比较了污染在两类评测中的作用机制差异，arXiv 链接已在推文 thread 中给出。
所属事件:测试集污染研究遭 NeurIPS 拒稿引热议(4 条相关)→
「模型」频道最新
- 实测翻车：Gemini 4 Argon 在 Web 端 4-5 轮后就跟丢对话 — gaganghotra_ · 2026-10-15
- 用户吐槽:ChatGPT 和 Claude 上手极易，Google 平台门槛成了真实高墙 — dreamwieber · 2026-10-15
- GPT-6.1 Sol 出现容量告急，用户吐槽报税季挤爆 — MikePFrank · 2026-10-15
- 谷歌向 Pro 用户展示 Gemini 4 广告，却未开放实际访问权限 — I_HALF_CATS · 2026-10-15
- Gemini 4 触发 cyber/CBRN 红线，Anthropic 研究员提示关注 CoT 透明度 — vkrakovna · 2026-10-15
- Hugging Face 将直播全新开放权重模型发布，还有 $20k 大赛可参与 — Hugging Face · 2026-10-15