ICML 论文揭示：数据重复浪费 33% 算力，大模型更易受语义重复拖累
RylanSchaeffer · x · 2026-08-12
Rylan Schaeffer 等人在其论文《Scale Dependent Data Duplication》中探讨了预训练数据重复对模型缩放规律的影响，并试图从微观机制预测宏观的数据有效性。
核心观点与发现：
- 重复是“依赖于规模”的：随着模型参数和训练 Token 数的增加，什么算“重复”也在发生变化。更大的模型能够识别出表面不同但语义相似的文档（如翻译文本），并将其视为重复数据。
- 语义碰撞：当语料库扩展到数千亿 Token 时，最近邻相似度会严重偏离各向同性幂律基准，导致语义冲突急剧加速。
- 大模型受损更严重：在有限唯一文档的数据池中采样训练时，小型模型的性能下降较温和，但大型模型会遭受迅速增加的损失，打破了简单的缩放外推。此前研究曾表明，数据重复会导致约 33% 的算力浪费。
所属事件:哈佛与MIT研究：预训练数据重复浪费33%算力(3 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16