Looped-DiT:2.6 亿参数循环计算跑赢 6.5 倍大模型,推理算力省 4.9 倍
Apprehensive_Sky892 · reddit · 2026-10-04
Looped Diffusion Transformer(Looped-DiT)提出用「循环计算」替代堆参数来扩展文生图模型:在每个去噪步骤内重复运行共享 Transformer 块,在不增加参数的情况下提升计算深度。
关键发现:
- 朴素循环并不奏效:中间循环监督信号弱、注意力更新失控会逐渐侵蚀局部信息。
- 通过跨循环深监督 + 自调制注意力,Looped-DiT 稳定了循环特征更新。
- 260M 参数的循环模型在多个文生图基准上超过 6.5 倍大的非循环模型,推理算力低 4.9 倍。
- 固定推理预算下,加深循环比增加去噪步数收益更大;更深的循环还能逐步修正早期循环的错误,表现出类似潜在推理的行为。
结论:循环计算为视觉生成模型提供了一种比堆参数更有效的扩展方式。
所属事件:Looped-DiT靠循环复用层数，2.6亿参数胜6.5倍大模型(3 条相关)→
「多模态」频道最新
- 传闻谷歌 Nano Banana 图像模型将随 Gemini 4 推新版本 — aziz4ai · 2026-10-04
- 不会写代码的作者用 Suno+Kling+Claude 做出全 AI 歌曲MV — Afinetheorem · 2026-10-04
- 疑似新款 Nano Banana Pro 被曝光，发布时间未知或不在近期 — koltregaskes · 2026-10-04
- V-Rubrics：5 万样本拆成 35 万细粒度标准，解多模态 RL 信用分配难题 — jiqizhixin · 2026-10-04
- Qwen Image 2.1 编辑增强节点：参考图与短语级注意力可控 — Capitan01R- · 2026-10-04
- 博主实测 Eleven v4 语音输出首次零修改可用,免费期还剩 9 天 — FellMentKE · 2026-10-04