预训练数据重复浪费算力？ICML论文揭示大模型更耐重复
heghbalz · x · 2026-08-22
这篇论文探讨了在大模型预训练中，当高质量领域数据稀缺时，通过重复数据来维持固定 TPP（tokens-per-parameter）的策略。研究发现：
- 模型越大越耐重复：在固定 TPP 下，最优重复次数会随模型尺寸增加而轻微增加，更大的模型配合更短的学习率衰减能更好地容忍重复。
- 质量决定重复上限：不同领域的最优重复次数与其最终验证损失呈强负相关，即质量越高（Loss越低）的数据，重复次数可以越多。
- 代理模型调参有效：在保持 TPP 一致的情况下，可以在小规模代理模型上调试出的最优重复次数，用来指导大规模模型的训练配置。
这为解决高质量数据稀释问题提供了新的工程视角。
所属事件:ICML新研究：模型越大越耐预训练数据重复(2 条相关)→
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16