重复数据预训练研究：小批次反而更省GPU时

arXiv 新论文《Scaling Repeated-Data Pretraining》研究了算力充裕但独特数据有限、需重复使用同一份数据做预训练的场景。UC Berkeley 与 Allen AI 的 Sewon Min 等人发现，小批次训练自带正则化效果，在数据重复预训练下反而更省 GPU 时，GPU 更多并不一定带来更低的验证损失。结论挑战了同时优化批次大小等多个常见做法，为数据受限场景提供了新的训练策略参考。

2026-10-14 ~ 2026-10-15 · 2 条相关

• 数据重复预训练新研究:小批次自带正则化,GPU 多未必 loss 低 — Sewon Min · 2026-10-14
• 新论文：数据有限时重复预训练，小批次反而省 GPU 时 — jasondeanlee · 2026-10-15