数据重复浪费33%算力，ICML论文揭示预训练隐形成本
RylanSchaeffer · x · 2026-08-12
一项最新研究《Internal Data Repetition Destroys Language Models》深入探讨了预训练数据重复对大模型的破坏。研究发现，即使经过严格的去重，残留的重复数据依然会造成系统性的算力浪费。
- 最差重复区间：在算力固定的情况下，对中等规模的数据子集进行中等次数的重复，比“大规模数据少次重复”或“小规模数据多次重复”带来的性能损害更大。
- 算力浪费惊人：当重复数据消耗了 10% 的算力预算时，其造成的计算等效损失极其惨重。在 FineWeb-Edu-Dedup 数据集上，对 3.44 亿参数模型的破坏力，相当于白白浪费了 33% 的总算力。
- 规律预测：这种最破坏性能的重复次数随模型参数量的增长速度，要快于算力的增长速度。
所属事件:哈佛与MIT研究：预训练数据重复浪费33%算力(3 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16