字节 Seed 已发 Loop-μP,网友:坐等中国团队 loopmaxxing

scaling01 · x · 2026-11-02

scaling01 转发时配图字 Seed 与清华、M-A-P 合作的论文《Loop-μP: Residual Scaling and Hyperparameter Transfer in Looped Transformers》,配文「坐等中国 loopmaxxers」。

该论文发现循环次数 N 增加会破坏训练稳定性并使最优超参漂移;由于共享权重使残差流随 N 线性增长(而非 √L),作者推导出 Loop-μP 参数化——残差分支乘以 1/N 并与深度因子 L^(-1/2) 结合。在语言建模实验中,最小模型上调好的学习率在最多 8 次循环、384 层等效深度下仍然最优,为循环 Transformer 的 scaling 提供了实用配方。