Gaperon 团队实证：OLMo-2 训练集含 24% MMLU 原题
zehavoc · x · 2026-10-13
Gaperon 模型作者 zehavoc 发帖指出，当前评测流程被意外的数据污染严重扭曲，并附上研究证据；但有趣的是，用测试数据训练似乎反而能提升模型的泛化能力。
配图展示三组证据：
- 污染规模：估计 MMLU 有 24% 的题目可逐字在 OLMo-2 训练集中找到，而 OLMo-1 仅 1%，可以解释 OLMo-2 的分数跳升。
- 泄漏与未泄漏差异：各主流模型（Mistral-7B、Llama 系列、Qwen-2-7B、OLMo、EuroLLM、Gaperon 等）在疑似泄漏的 MMLU 样本上得分普遍更高，OLMo-3 总体分差达 +18.8，社会科学分项高达 +38.2；作者自嘲自家模型也处在同样的污染区间。
- 污染并非作弊：Benchmark-in-Haystack 实验显示，数据质量分类器越高效，越倾向于把基准样本排在高位，污染是质量过滤的副作用而非故意作弊。
所属事件:Gaperon 团队发现 OLMo-2 训练集 24% 含 MMLU 原题(2 条相关)→
「模型」频道最新
- GPT 系模型可轻松通过多数验证码，截图引争议 — CtrlAltDwayne · 2026-10-13
- 用户称 Grok 全面替代 ChatGPT、Claude 与 Cursor 工作流 — elonmusk · 2026-10-13
- 有人逆向工程 Grok Bot 并将其开源 — jasonkneen · 2026-10-13
- Bindu Reddy:Muse Wonder 远不及 Fable/Astra,新基准即将发布 — bindureddy · 2026-10-13
- 用户吐槽 Gemini 接管 Android Auto:让它回复却说「正在播放 yes」 — Notegg999f · 2026-10-13
- Parakhin:模型互相能懂「神经语」，人类反而读不懂其解释 — iScienceLuvr · 2026-10-13