小批量才是王道:重复数据预训练论文揭示 batch size 隐形最优解
sewon__min · x · 2026-11-04
Sewon Min(UC Berkeley & AI2)发布论文《Scaling Repeated-Data Pretraining》,研究当算力充裕但独特数据有限、需反复训练同一数据时的预训练策略。
- batch size 需重调:验证损失与 batch size 呈 U 型关系,小批量梯度噪声提供隐式正则化,最优 batch 比常规预训练更小。batch 调优后,1.5B 模型有益 epoch 数从 8 提到 20,153M 模型从 40 到 112。
- 训练配方可适配重复训练:每 epoch 重排文档(REPACK)、weight tying、对 embedding 施加正向 weight decay 都能带来额外收益,最优 checkpoint 从 epoch 20 提到 32(1.5B)。
- GPU 与时间是两种资源:紧迫截止时间适合大批量,延迟导向并行可用更多 GPU 换更短训练;但固定时间预算下,更少 GPU + 更小批量反而可能比多 GPU + 大批量损失更低——挑战了「截止期内堆数据并行最大化 GPU 利用率」的常见做法。
结论:当独特数据成为瓶颈时,预训练配方与算力分配都必须改变。rosinality 转发评论称这可能是小批量等旧深度学习智慧回归的案例。
「Infra」频道最新
- Meta 发债 150 亿美元建 AI 基建,订单 580 亿超购 3.9 倍 — rohanpaul_ai · 2026-11-04
- BIOS 将 RFD4-Proteina 移植到 MacBook,本地生成筛选蛋白结合体 — AllThingsApx · 2026-11-04
- fal 联创对谈：生成媒体崛起与 AI 基础设施经济学 — gorkem · 2026-11-04
- 自研 Rust 推理引擎跑 Qwen：250K 上下文响应快 13.4 倍 — ahstanin · 2026-11-04
- 电网排队太长,数据中心开始烧退役喷气发动机发电 — TechCrunch AI · 2026-11-04
- 美智库专家：英伟达夸大中国AI芯片能力，在华盛顿信誉受损 — mchorowitz · 2026-11-04