Looped-DiT:260M 循环复用层数 beaten 6.5 倍大模型,推理算力省 4.9 倍
burny_tech · x · 2026-10-04
商汤、清华、NTU 等机构的新论文提出 Looped Diffusion Transformer(Looped-DiT),探索扩散模型的另一条扩展路径:在同一去噪步内反复运行共享的 Transformer 块,在不增加参数量的情况下提升计算深度。
- naive 循环并不能稳定提升画质,问题出在中间循环监督弱、注意力更新无约束会侵蚀局部信息
- 解法是跨循环深监督 + 自调制注意力,稳定循环中的特征更新
- 同参数、同算力对比下均优于非循环基线:260M 模型在多个文生图 benchmark 上超过 6.5 倍大的模型,推理算力低 4.9 倍
- 固定推理预算下,加深循环比增加去噪步数收益更大;深循环还能逐步纠正早期循环的错误,表现出类似潜在推理的行为
结论:循环计算是视觉生成模型一条有前景的扩展方式。
所属事件:Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(4 条相关)→
「多模态」频道最新
- AI 生成「亚美尼亚肌肉导游」视频走红,画风逼真又搞笑 — EternalSnow05 · 2026-11-19
- 同档生成一次差 5 倍价:Gemini 4 Neon 花费 $1.01,GPT-6.2 Sol 仅 $0.19 — Angaisb_ · 2026-11-19
- 创作者推出 8 集 AI 悬疑动画《23:17》,首集画面已上线 — SimMonzi · 2026-11-19
- Gemini 4 Neon(xhigh)实测:一张提示词画出 Ana de Armas 风格 SVG — lyraxana · 2026-11-19
- Electric Sheep 系列新作 Infinidream 0.17.2 发布,支持 1080p — scott_draves · 2026-11-19
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19