Looped-DiT 循环复用 Transformer 块以小胜大
新论文 Looped Diffusion Transformer(Looped-DiT)提出文本生图模型的另类扩展路径:不采用更深的独立堆叠,而是在每个去噪步骤中反复运行共享的 Transformer 模块。实验显示,仅 260M 参数的小模型即可超越 6.5 倍规模的大模型,同时节省约 4.9 倍计算量,展示了循环复用架构在扩散模型上的高效潜力,引发社区关注。
2026-10-01 ~ 2026-10-01 · 2 条相关
- 第 1 集:Looped-DiT 循环复用 Transformer 块以小胜大(2026-10-01,2 条)
- 第 2 集:Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(2026-10-03,4 条)
- 循环复用 Transformer 块:260M 小模型以 4.9 倍低算力胜过 6.5 倍大模型 — arankomatsuzaki · 2026-10-01
- Looped-DiT:260M 小模型循环复用模块,胜过 6.5 倍大模型省 4.9 倍算力 — burny_tech · 2026-10-01