研究：78% CodeForces 题目在训练语料中存在语义重复
gleech · x · 2026-09-04
Gavin Leech 在与 Yoav Goldberg 关于「如何衡量 LLM 进步」的讨论中引用 arXiv 论文《Soft Contamination Means Benchmarks Test Shallow Generalization》。论文用嵌入方法检测 Olmo3 训练语料中的语义级重复（n-gram 过滤无法发现的软污染），主要发现：
- 污染普遍存在：78% 的 CodeForces 题目找到语义重复，50% 的 ZebraLogic 题目存在完全重复
- 在训练数据中加入 benchmark 数据的语义重复确实能提升 benchmark 成绩
- 在重复样本上微调，对同 benchmark 真正留出集的成绩也会提升
作者据此论证：近期 benchmark 涨分被混杂因素污染，反映的是真实能力提升与训练语料中测试数据的累积之和。Yoav Goldberg 提出的问题（可靠打分的任务都会被暴力训练解决，能力未必迁移）与 Leech 给出的对策：用预注册的预测性任务流、每 3 个月换新 benchmark 的「跑步机」策略。
所属事件:Goldberg等学者：基准可被暴力攻破，进步需靠「发现」衡量(6 条相关)→
「研究」频道最新
- 球面不动点推理器 SFPRM：让循环 Transformer 学会自己停 — GabGarrett · 2026-10-21
- KAIST 与 Meta 提出可编程检索框架 RPL，4B 模型胜过全部 8B 基线 — CShorten30 · 2026-10-21
- Perplexity 发布 Decider V1.2：登顶 Vals AI 决策模型榜 ClaimBench — bo_wangbo · 2026-10-21
- 给基因模型「泄题词」全删后成绩几乎不变,LitGene 过严格盲测 — bravo_abad · 2026-10-21
- Omnii-1 基因组模型发布：AI 设计的噬菌体首次用于人体治疗 — JosephJacks_ · 2026-10-21
- 从记忆存储理解 LLM：事实习得三阶段与幻觉同步涌现 — scott_linderman · 2026-10-21