Gaperon 团队发现 OLMo-2 训练集 24% 含 MMLU 原题

Gaperon 模型团队成员 zehavoc 与 antoinechaffin 发帖指出，当前评测流程正被意外的基准数据污染严重扭曲，研究显示 OLMo-2 训练集中有 24% 的 MMLU 原题。有趣的是，部分被污染的数据似乎反而能带来领域外的泛化收益，但这也让评测结果难以解读。团队认为领域内的提升应在结果中明确标注，以保证评测的可信度。

2026-10-13 ~ 2026-10-13 · 2 条相关