同一污染研究续篇：用新鲜数据过训练可稀释测试集污染效应

RylanSchaeffer · x · 2026-10-15

这是 Schaeffer 污染研究 thread 的第 3/8 条：与判别式评测一致，在全新数据上过训练（超过 Chinchilla 最优计算量）可以缓解生成式评测上的测试集污染效应。

作者将其归因于剂量-反应机制（另有论文单独发表）：过训练稀释了被污染 token 的“剂量”占比。配图显示过训练倍数提高会降低无污染模型的 MATH 损失、抬高被污染模型的损失，且交叉点随模型变大而左移——93M 模型 1 个测试集副本即失去污染优势，34M 模型则需 32 个。