测试集污染研究遭 NeurIPS 拒稿引热议

斯坦福研究员 Rylan Schaeffer 公开其被 NeurIPS 拒收的论文《Quantifying the Effect of Test Set Contamination on Generative Evaluation》，研究显示仅需一条副本即可让模型在生成式评测中「低于不可约误差」。作者还发布系列后续：在全新数据上过训练（超过 Chinchilla 最优计算量）可稀释污染效应；团队同时修复了 LM Evaluation Harness 中 Math Verify Score 的计算错误，并呼吁社区重跑旧论文分数。

2026-10-15 ~ 2026-10-15 · 4 条相关

• 测试集污染研究被 NeurIPS 拒稿，作者晒图：一次污染即击穿不可约误差 — RylanSchaeffer · 2026-10-15
• 同一污染研究续篇：用新鲜数据过训练可稀释测试集污染效应 — RylanSchaeffer · 2026-10-15
• 测试集污染研究被 NeurIPS 拒稿:一条副本即可让模型「低于不可约误差」 — RylanSchaeffer · 2026-10-15
• 作者修正 LM Evaluation Harness 中 Math Verify Score 计算错误，呼吁重跑旧论文分数 — RylanSchaeffer · 2026-10-15