DeepLoop 论文：循环 Transformer 可稳定扩展深度

Yifan Zhang 发布新项目 DeepLoop，研究如何让循环 Transformer（recurrent Transformer）稳定地进行深度扩展。他引述称一些前沿模型本质上可能是 48 层 Transformer 循环两次（48L x 2）的结构，DeepLoop 论文则提供了让这种循环架构可以稳定扩展的方法。该工作于 9 月 3 日至 4 日在社区引发关注。

2026-09-03 ~ 2026-09-04 · 2 条相关

• DeepLoop 论文让循环 Transformer 可稳定扩展,并传前沿模型为 48 层循环两次 — StartupYou · 2026-09-03
• DeepLoop 发布:循环两次的 Transformer 深度扩展新方案 — burny_tech · 2026-09-04