测试集污染研究被 NeurIPS 拒稿:一条副本即可让模型「低于不可约误差」
RylanSchaeffer · x · 2026-10-15
Stanford 的 Rylan Schaeffer 公开表示其论文《Quantifying the Effect of Test Set Contamination on Generative Evaluations》(arXiv:2601.04301)被 NeurIPS 2026 拒稿,他不认同审稿意见,故自行公开。论文首次系统研究生成式评测(而非选择题式判别式评测)的测试集污染效应:
实验设置:在 web 数据混入 0–3162 份 MATH 测试集副本,预训练 34M–344M 参数的算力最优模型并扫描规模。
关键发现
- 性能随污染副本数与模型规模上升,约 100 份副本附近出现陡升;单单一份测试集副本就能让模型训练损失低于「干净语料的不可约误差」——一个反直觉的 scaling law 结果
- 更大模型在相同污染量下受益更多
- 用新鲜数据继续过训练可减轻污染影响(剂量-响应机制);而在训练集上做 SFT 效果两极:污染少(<10 副本)时 SFT 降低测试损失,污染多(>10 副本)时反而升高
- 解题长度与采样温度共同决定记忆「退相干」速度,呈现三种状态:指数级快速退相干、脆弱记忆、确定性锁定(Lock-In);温度可把模型在状态间切换
所属事件:测试集污染研究遭 NeurIPS 拒稿引热议(4 条相关)→
「模型」频道最新
- 把 Pliny 的越狱 prompt 反着用：专治 AI 味文风的「SLOPBLITERATION」 — thatroblennon · 2026-10-15
- Cloudflare 决策模型 Clef 上架 Merge Gateway，中位延迟 39ms — shensi · 2026-10-15
- Google 评估称 Gemini 4 Argon 无法排除失控阈值 TCL — TheZvi · 2026-10-15
- 实测 Indra OCR:准确率属实，但「比 Tesseract 快 17 倍」实为约 3 倍 — TheOyinbooke · 2026-10-15
- Opus 5.5 囚徒困境实验:意大利语合作率 72%,日语仅 5% — MysteriousAvocado580 · 2026-10-15
- Google 与 Meta 新模型齐发,前沿 AI 双寡头格局现裂痕 — danshipper · 2026-10-15