新论文：数据有限时重复预训练，小批次反而省 GPU 时
jasondeanlee · x · 2026-10-15
arXiv 论文《Scaling Repeated-Data Pretraining》研究了算力充裕但独特数据有限、需要重复使用同一份数据做预训练的场景。核心发现：
- 验证损失与 batch size 呈 U 形关系：最优批次比常规预训练更小，因为小批次的梯度噪声提供了隐式正则化
- 原本在单轮训练假设下调好的训练配方可以重新调优，如每个 epoch 重新打包文档成新序列、权重共享、正的 embedding weight decay
- 放宽无限算力假设后，作者主张把 GPU 数量和时间当作两种独立资源：更紧的截止时间适合更大批次，面向延迟的并行策略可以用更多 GPU 换更短训练时间
- 反直觉结论：固定时间预算下，更小批次配更少 GPU 可以比大批次配更多 GPU 得到更低的验证损失，挑战了「靠加大数据并行来最大化 GPU 利用率」的常见做法
所属事件:重复数据预训练研究：小批次反而更省GPU时(2 条相关)→
「Infra」频道最新
- 算力是下一个大宗商品：GPU 是油井，token 是燃气 — AnneliesGamble · 2026-10-15
- OCP 关键幻灯片:Rubin Ultra NVL576 用 CPO 做 scale-up — BenBajarin · 2026-10-15
- TensorFold 推出 macOS 应用，本地跑开源模型实测 874 tok/s — HankYeomans · 2026-10-15
- Enroute 开源:Raft+S3 打造单仓 7600 并发推送/秒的 Git 服务器 — DanielLockyer · 2026-10-15
- 分析:若信贷收紧,neocloud 承压,超大规模云厂反而受益 — RihardJarc · 2026-10-15
- OCP 光互连秀肌肉:InnoLight PIC 现场故障率 FIT<0.01,Credo 推 LPDDR 扩展 — AccBalanced · 2026-10-15