专题 · FULL STORY

Looped-DiT:循环复用块以小胜大

商汤、清华、南洋理工等机构的 Looped Diffusion Transformer 论文先在网上引发讨论,随后正式发布。该方法不堆叠更深网络,而在每个去噪步骤循环复用同一 Transformer 块,使小参数量文生图模型效果超越约 6.5 倍规模的模型,成为扩散模型扩展的新路径。

2026-10-01 ~ 2026-10-04 · 2 集 · 6 条

第 1 集 · Looped-DiT 循环复用 Transformer 块以小胜大(2026-10-01,2 条)

新论文 Looped Diffusion Transformer(Looped-DiT)提出文本生图模型的另类扩展路径:不采用更深的独立堆叠,而是在每个去噪步骤中反复运行共享的 Transformer 模块。实验显示,仅 260M 参数的小模型即可超越 6.5 倍规模的大模型,同时节省约 4.9 倍计算量,展示了循环复用架构在扩散模型上的高效潜力,引发社区关注。

第 2 集 · Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(2026-10-03,4 条)

商汤、清华、南洋理工等机构发布 Looped Diffusion Transformer(Looped-DiT),首次将循环 Transformer 应用于文生图。该方法不靠加大模型或增加去噪步,而是在每个去噪步内重复运行共享的 Transformer 块:2.6 亿参数模型效果超越 6.5 倍大的模型,推理算力可节省 4.9 倍,提供了一条以循环计算扩展算力的新路径。研究也呼应了 Mythos 和 Astra 可能采用 Looped Transformer 的传闻。