Looped Transformer 的扩展研究
BlackHC · x · 2026-07-18
介绍 **DeepLoop: Depth Scaling for Looped Transformers**。 核心信息是：有传言称一些前沿模型本质上像是“48 层 Transformer 循环两次”（48L × 2），这篇工作提出用 **looped transformer** 作为研究对象，并重点解决它的**稳定性**与**可扩展性**问题。 重点在于：不是单纯复述一个模型结构传闻，而是把“循环堆叠”的 Transformer 作为可训练、可扩展的架构来推进。