新论文：递归循环改造可将预训练 scaling 指数提升
burny_tech · x · 2026-09-20
Andrew Wu（andrewgwils）团队发布新论文，提出对「递归深度」（looping，循环复用参数）这一模型增长方式进行修改，可以提升预训练的 scaling 指数，即随规模扩大收益递增的计算效率提升。转发者 awesomeruler 补充：将其 slowrun 记录中的简单配方（growing loops + input injection）与 untied weights 结合进行 scaling，效果超过原生模型的 scaling 指数，尤其在数据受限（data-constrained）场景下优势明显。作者包括 @charllechen、@akshayvegesna、@industriaalist。
「研究」频道最新
- 别把 2024 年论文当突破：RLAIF 早已被广泛使用 — burny_tech · 2026-09-20
- 数学家称借助 LLM 证明 Catalan 常数是无理数,百年难题告破 — burny_tech · 2026-09-20
- 大脑仅 20 瓦,类脑计算能否让 AI 摆脱耗电困局? — burny_tech · 2026-09-20
- AI 数学证明之争,学者推荐《跨代数学证明》文集 — RexDouglass · 2026-09-20
- 四个 LLM 打《毁灭战士》：Jev 击杀 5.63 领跑，实测延迟差 15 倍 — shniydder · 2026-09-20
- Odyssey-3:数十小时示教数据让单一世界模型适配多种机械臂 — ChongZzZhang · 2026-09-20