DeepLoop研究探索循环Transformer深度缩放

针对循环 Transformer 的深度缩放问题，最新研究提出了 DeepLoop。该工作指出，当同一组模型参数被重复访问多次时，残差分支的缩放不能仅看名义层数，而必须综合考量参数的实际访问次数。此项研究也呼应了业界关于部分前沿模型本质上类似于“48层 Transformer 不断循环”的传言，为模型架构的深度扩展提供了新视角。

2026-07-17 ~ 2026-07-18 · 2 条相关