循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B

Andrew Gordon Wilson 团队发布新论文（arXiv 2609.19107），挑战「架构干预只能带来常数因子增益、scaling 指数只有数据干预能改变」的主流认知：在预训练中对标准 Transformer 施加循环/递归深度（looping），并与模型生长（model growth）、边界算子组合，可以提升 scaling 指数本身，使算力效率增益随规模增大而持续放大。当前结论是：架构创新可以改写扩展规律，且与堆数据堆参数的常规路线互补。

已确认

• 论文由 Andrew Gordon Wilson 团队发布，作者本人及团队成员多次发帖介绍（m2、m3、m5、m7）。
• 核心实验结果：7.4B 循环模型以约 20 倍算力节省匹敌 GPT-3 13B。
• 循环可作为一种模型生长机制：通过递归加深模型实现有效规模增长；每个规模的增益乘数约 1.06–1.16，随规模持续复合（m1 转述）。
• 权重共享在新鲜数据上并非算力最优（m1 转述的论文结论）。
• Songlin Yang（m6）转发点评补充：在数据受限、多 epoch 训练场景下，循环复用具有正则化效应；固定模型规模下验证损失随循环次数增加单调下降；最优循环次数随算力预算增长；该设置下算力效率提升约 2.2 倍。
• 作者指出该路线与「堆更多数据与参数」的常规扩展路线互补，构成另一种提升效率的维度。

为什么重要

• 若 scaling 指数可被架构干预改变，意味着算力投入的边际收益结构发生变化：规模越大，省的算力越多，而非一次性常数提速。
• 该结果为算力受限场景下的高效预训练提供了新路径，也重新打开了「架构创新能否改写扩展规律」这一被主流假设搁置的讨论空间。

2026-09-17 ~ 2026-09-19 · 7 条相关

• 新论文称循环加模型生长可弯折缩放律，算力收益随规模指数放大 — akbirthko · 2026-09-17
• 【源头】循环深度改写 scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B — andrewgwils · 2026-09-17
• 新论文：修改递归深度可提升预训练 scaling 指数，越大规模越省算力 — bo_wangbo · 2026-09-17
• 【源头】新研究:Transformer 循环复用可正则化,算力效率提升 2.2 倍 — SonglinYang4 · 2026-09-18
• 新研究：模型增长架构省 20 倍算力，权重共享并非算力最优 — burny_tech · 2026-09-19

另有 2 条近重复转述:andrewgwils · burny_tech