Meta与MIT论文:循环复用Transformer层胜过加深参数

Meta FAIR 与 MIT 发表论文《How to Loop Your Transformer》,系统研究「循环复用层」技术:让同一组 Transformer 层反复执行多次,在不增加参数的前提下提升模型能力,实验显示该做法可胜过单纯加深网络。论文还分析了循环复用的 scaling 规律、层的特化及并行化等特性。

2026-11-02 ~ 2026-11-02 · 2 条相关

另有 1 条近重复转述:rohanpaul_ai