Looped-DiT:2.6 亿参数循环计算跑赢 6.5 倍大模型,推理算力省 4.9 倍
Apprehensive_Sky892 · reddit · 2026-10-04
Looped Diffusion Transformer(Looped-DiT)提出用「循环计算」替代堆参数来扩展文生图模型:在每个去噪步骤内重复运行共享 Transformer 块,在不增加参数的情况下提升计算深度。
关键发现:
- 朴素循环并不奏效:中间循环监督信号弱、注意力更新失控会逐渐侵蚀局部信息。
- 通过跨循环深监督 + 自调制注意力,Looped-DiT 稳定了循环特征更新。
- 260M 参数的循环模型在多个文生图基准上超过 6.5 倍大的非循环模型,推理算力低 4.9 倍。
- 固定推理预算下,加深循环比增加去噪步数收益更大;更深的循环还能逐步修正早期循环的错误,表现出类似潜在推理的行为。
结论:循环计算为视觉生成模型提供了一种比堆参数更有效的扩展方式。
所属事件:Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(4 条相关)→
「多模态」频道最新
- AI 生成「亚美尼亚肌肉导游」视频走红,画风逼真又搞笑 — EternalSnow05 · 2026-11-19
- 同档生成一次差 5 倍价:Gemini 4 Neon 花费 $1.01,GPT-6.2 Sol 仅 $0.19 — Angaisb_ · 2026-11-19
- 创作者推出 8 集 AI 悬疑动画《23:17》,首集画面已上线 — SimMonzi · 2026-11-19
- Gemini 4 Neon(xhigh)实测:一张提示词画出 Ana de Armas 风格 SVG — lyraxana · 2026-11-19
- Electric Sheep 系列新作 Infinidream 0.17.2 发布,支持 1080p — scott_draves · 2026-11-19
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19