小模型调好的学习率直接搬到大模型：μP 零成本超参迁移

RobertTLange · x · 2026-11-13

Robert Lange 解读 Tensor Programs V 论文：在标准参数化下，在小模型上调好的学习率无法复用到更宽的模型——因为更新幅度随宽度增长，调好的 η 会失效。

μP（Maximal Update Parametrization）按宽度为每层缩放 η，使更新大小保持不变，从而实现超参迁移（muTransfer）：在小模型上调参，零样本迁移到目标大模型。实验显示：从 13M 参数模型迁移超参即可超过 BERT-large（350M）的已发表结果；从 40M 迁移可胜过 6.7B GPT-3 的已发表数字，调参成本仅为总预训练成本的 7%。实现已开源，pip install mup。