高预重复浪费 33% 算力，论文揭示预训练隐形成本

davidmckenna · hn · 2026-08-30

本文深入探讨了数据去重在模型预训练中的重要性。作者指出，训练数据集中存在大量重复内容，导致模型在训练同一内容时浪费算力。实证研究表明，通过有效的去重策略，可以减少约 33% 的算力浪费，同时不损害模型的最终性能。文章分析了为什么重复数据有害（如导致过拟合、破坏分布），并对比了精确去重与模糊去重的工程实践。