循环复用 Transformer 块,2.6 亿参数模型胜过 6.5 倍大模型
NandoDF · x · 2026-10-03
- 新论文 Looped Diffusion Transformer(Looped-DiT) 提出一条区别于「加大模型/加多去噪步」的算力扩展路径:在每个去噪步内重复运行共享的 Transformer 块,参数量不变而计算深度增加,对内部表征进行迭代精炼。
- 简单循环并不奏效,作者定位到两个问题:中间各轮循环监督信号太弱、注意力更新无约束导致局部信息逐渐被侵蚀。
- 解法是 Deep Supervision(对中间循环施加监督)+ Self-Modulating Attention(稳定循环中的特征更新)。
- 结果:在参数对齐与算力对齐两种设置下均优于非循环基线;260M 参数的循环模型可在多个文生图基准上超过 6.5 倍大的模型,推理算力还低 4.9 倍。
- 另一发现:固定推理预算下,加深循环比增加去噪步收益更大,且更深的循环能逐步纠正早期循环的错误。
所属事件:Looped-DiT 循环复用层,小模型跑赢 6.5 倍大模型(4 条相关)→
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19