数据重复预训练新研究:小批次自带正则化,GPU 多未必 loss 低
Sewon Min · hf · 2026-10-14
UC Berkeley 与 Allen AI 的 Sewon Min 研究算力充足但独特数据有限时的重复数据预训练策略,结论挑战多个常见做法:
- 同时优化 batch size 与 epoch 数时,验证损失与 batch size 呈 U 形关系,最优 batch 比常规预训练更小——小批次的梯度噪声相当于隐式正则化
- 单次训练假设下调好的配方需重新调整:每个 epoch 重新 repack 文档序列、weight tying、embedding 正向 weight decay 都有效
- 放宽无限算力假设后,应把 GPU 和时间当作两种独立资源:更紧的截止期倾向更大批次,延迟导向并行可用更多 GPU 换更短训练
- 反直觉发现:固定时间预算下,更少 GPU 的小批次训练可以比更多 GPU 的大批次取得更低验证损失,挑战「deadline 下堆数据并行」的惯例
为数据受限时代的训练配方与资源分配给出具体指引。
「Infra」频道最新
- 播客解读 Marvell 分析师日、OpenAI 营收传闻与 20-30GW 电网瓶颈 — BenBajarin · 2026-10-14
- vLLM 联动 Hugging Face 直播：投机解码加速本地 LLM 实践 — mervenoyann · 2026-10-14
- Modal 年化收入破 10 亿美元,5 个月用量翻三倍并融资 7.5 亿美元 D 轮 — josh_wills · 2026-10-14
- 黄仁勋宣布 20 亿美元投资欧洲,另为英国安全实验室提供 2.5 亿算力 — The Decoder · 2026-10-14
- llama.cpp 新 PR 提速 GDN 分块核：4090 上 35B 模型快 11% — jacek2023 · 2026-10-14
- 分析师称 WFE 设备进入结构性扩张：2nm 制程使旧工具大规模报废 — BenBajarin · 2026-10-14