哈佛与MIT研究：预训练数据重复浪费33%算力

哈佛大学与麻省理工学院的联合研究指出，大模型预训练正面临数据重复带来的边际效益递减问题。即使经过严格去重，语义级的数据重复依然存在。这种隐形成本不仅破坏模型性能，尤其让大模型更易受拖累，还导致约 33% 的算力被白白浪费，凸显了高质量新数据获取的紧迫性。

2026-08-12 ~ 2026-08-13 · 3 条相关

• 数据重复浪费33%算力，ICML论文揭示预训练隐形成本 — RylanSchaeffer · 2026-08-12
• ICML 论文揭示：数据重复浪费 33% 算力，大模型更易受语义重复拖累 — RylanSchaeffer · 2026-08-12
• 哈佛与 MIT 新研究：数据重复利用正引发 LLM 训练边际效益递减 — burkov · 2026-08-13