数据受限预训练新配方：超参迁移加集成，困惑度降14%
andrewgwils · x · 2026-11-03
Andrew Wilson 团队在 arXiv 发布新论文《Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling》，由 Ethan Baron 主导，针对数据受限预训练的两大缺陷：
- 以往工作随规模扩大仍固定 weight decay 等关键超参，而最优超参随模型规模与 epoch 数剧烈变化
- 以往工作忽略集成（ensembling）这一数据受限下的有效扩展路径，导致某些情况下损失反而随算力预算上升
作者通过拟合幂律给出超参随规模迁移的处方，以及集成下的算力分配 scaling law。在 FineWeb 1 亿 token 上训练，新配方比以往方案降低验证损失 0.15+ nats，困惑度下降 14%，并通过集成实现随算力单调提升。处方只用小规模实验拟合，在最大 12 倍算力预算上验证有效。
「研究」频道最新
- Nick Cammarata 一帖引爆可解释性热潮:注意力头同样干净、手术式转向变容易 — georgejrjrjr · 2026-11-03
- 开发者复现 MIT 权重空间编程结果，「涌现」说法遭质疑 — anshulkundaje · 2026-11-03
- 「锐化税」论文：RL 后训练损 pass@K 换 pass@1 — kastnerkyle · 2026-11-03
- Ken Goldberg 点赞:LLM 调参机器人仿真神器 RoboSimStudio 入选 CoRL — berkeley_ai · 2026-11-03
- 问题问得模糊，Deep Research 性能骤降：搜索更多也没用 — yuz9yuz · 2026-11-03
- TMax 一作开讲:训练终端 Agent 的三套数据配方对比与争论 — Shahules786 · 2026-11-03