Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型
商汤、清华、南洋理工等机构发布 Looped Diffusion Transformer(Looped-DiT),首次将循环 Transformer 应用于文生图。该方法不靠加大模型或增加去噪步,而是在每个去噪步内重复运行共享的 Transformer 块:2.6 亿参数模型效果超越 6.5 倍大的模型,推理算力可节省 4.9 倍,提供了一条以循环计算扩展算力的新路径。研究也呼应了 Mythos 和 Astra 可能采用 Looped Transformer 的传闻。
2026-10-03 ~ 2026-10-04 · 4 条相关
- 第 1 集:Looped-DiT 循环复用 Transformer 块以小胜大(2026-10-01,2 条)
- 第 2 集:Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(2026-10-03,4 条)
- 循环复用 Transformer 块,2.6 亿参数模型胜过 6.5 倍大模型 — NandoDF · 2026-10-03
- Looped-DiT 首次把循环 Transformer 用到文生图,呼应 Mythos 传闻 — liuziwei7 · 2026-10-04
另有 2 条近重复转述:burny_tech · Apprehensive_Sky892