Looped-DiT：260M 循环复用层数 beaten 6.5 倍大模型，推理算力省 4.9 倍
burny_tech · x · 2026-10-04
商汤、清华、NTU 等机构的新论文提出 Looped Diffusion Transformer（Looped-DiT），探索扩散模型的另一条扩展路径：在同一去噪步内反复运行共享的 Transformer 块，在不增加参数量的情况下提升计算深度。
- naive 循环并不能稳定提升画质，问题出在中间循环监督弱、注意力更新无约束会侵蚀局部信息
- 解法是跨循环深监督 + 自调制注意力，稳定循环中的特征更新
- 同参数、同算力对比下均优于非循环基线：260M 模型在多个文生图 benchmark 上超过 6.5 倍大的模型，推理算力低 4.9 倍
- 固定推理预算下，加深循环比增加去噪步数收益更大；深循环还能逐步纠正早期循环的错误，表现出类似潜在推理的行为
结论：循环计算是视觉生成模型一条有前景的扩展方式。
所属事件:Looped-DiT 循环复用层数，小参数量胜过 6.5 倍大模型(2 条相关)→
「多模态」频道最新
- 网友用 Higgsfield 打造 DJ 弗罗多 x 甘道夫说唱版《指环王》 — TinfoilTricorn · 2026-10-04
- Opus 5.5 一次搞定游戏、3D 世界、视频与广告，10 个创意案例 — minchoi · 2026-10-04
- Qwen 生成场景加人物常翻车：比例失调且面部掉质量 — rcplaybox · 2026-10-04
- Brainstorm 先问后画，Casting Room 把角色沉淀成可复用资产 — dr_cintas · 2026-10-04
- Fable 5.5 生成的 4 万年人类艺术史动画惊艳全网 — dotey · 2026-10-04
- 独立开发者发布 AI 图片管理器,自动索引 ComfyUI 元数据 — spanktastic0x · 2026-10-04