Looped Transformer 研究与缩放方案

teortaxesTex · x · 2026-07-20

这条分享的是 Looped Transformers / Loopie 的研究进展。作者指出，循环式 Transformer 不能只按参数量看，同样的预训练预算下，重复执行层会放大计算开销，因此需要按实际训练成本来做对比。

文中提出 Loopie Recipe：先把非循环 MoE 参考模型改造成循环种子模型，再用 layer-loop 方式让每层重复执行两次，并把节省出来的显存换成更大的 microbatch，尽量保持端到端 optimizer-step 时间与基线一致。作者声称这种 compute-matched scaling 能更公平地比较循环与非循环架构，并展示了可扩展到大规模 MoE 的训练方案。