DeepLoop 论文让循环 Transformer 可稳定扩展,并传前沿模型为 48 层循环两次

StartupYou · x · 2026-09-03

yifanzhang 发帖称「听说一些前沿模型基本上是把 48 层 transformer 循环两次(48L x 2)」,并以此引出其新论文 DeepLoop: Depth Scaling for Looped Transformers,声称让循环(loop)transformer 变得稳定且可扩展。另有转发称该说法得到「OpenAI Astra 确认」(未证实)。若属实,说明前沿实验室在用参数复用(循环深度)而非单纯堆层数来扩展模型深度——但该传闻目前仅为爆料,需谨慎对待。