Q Labs 新 scaling law:千亿亿参数 Transformer 训练配方出炉

josephdviviano · x · 2026-11-03

Q Labs Research 发布论文《Quadrillion-parameter transformers and how to train them》，首次把 ensembling 作为独立项写进 scaling law，并提出在数据受限 regime 下大幅过参数化的训练配方。

核心结论：

模型应远比 Chinchilla 配方更大：外推到 5T tokens，新定律在 10^29 FLOPs 处给出的参数量约为 Chinchilla 配方的 7000 倍，且随算力继续增长。作者以此解释 AI 与人类之间约 1000 万倍的样本效率差距——按突触计人类约 100T 参数却只学 2 亿 tokens。
(Fast) ensembling 是新的 scaling 轴：用 cyclic LR 从单次训练中免费收集多个 snapshot 模型做集成，收益无法靠加大单模型容量获得；算力足够大时，独立多次运行的 deep ensemble 在计算上也是最优的。
重复数据下需要更大 weight decay：给出跨模型规模、数据量与 epoch 数的 weight decay 处方，外推 16 倍算力后仍接近最优。
组合后 loss 在固定数据上持续下降：之前的配方在算力增大后反而变差，新配方(超参迁移+集成)的验证 loss 持续改善。

论文给出了完整的 scaling law 公式，包含 irreducible、小模型、tokens、过拟合与 ensembling 五项。

「研究」频道最新