递归深度循环训练改善 scaling 指数，7.4B 模型省 20 倍算力匹敌 GPT-3 13B
andrewgwils · x · 2026-09-17
Andrew Wilson 等人的新论文表明，在预训练中用「循环/looping」递归加深模型，可以提升 scaling 指数本身，而不只是改常数——这意味着随算力增长而放大的效率收益，挑战了「只有数据干预能改 scaling 指数」的传统认知。
- 方法：训练过程中增加循环次数让模型深度随训练增长（权重分 tied 与 untied 两种），另测试一个简单 boundary operator，对残差流做归一化并注入更早的 block。
- 效果：7.4B 的 model-growth 架构在 CORE 指标上以约 1/20 的算力匹敌 GPT-3 13B。
- 动机：直觉是任意算力预算下都应让 transformer 的有效深度尽量大，因为「深度诅咒」常使后面的 block 贡献趋近于零。
- 多 epoch 训练下，标准 looping 也是算力最优的，最优循环数随算力预算增加，looping 具有正则化作用；单/多 epoch 中有效深度都是关键因素。
所属事件:循环深度改写 Scaling 指数：7.4B 模型省 20 倍算力匹敌 GPT-3 13B(7 条相关)→
「模型」频道最新
- 马斯克扛不住成本：Grok Bot 额度一夜缩水两至四成 — yangyi · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02