DeepMind提出弹性循环Transformer，视觉生成参数量大减75%

adityakusupati · x · 2026-08-08

Google DeepMind 推出 ELT (Elastic Looped Transformers)，这是一种用于图像和视频生成的高度参数高效模型。

核心机制：与传统深层 Transformer 不同，ELT 采用循环、权重共享的 Transformer 块，大幅减少参数量。通过 Intra-Loop Self Distillation (ILSD) 进行训练，确保模型各深度的一致性。
弹性推理：单次训练即可产出一组弹性模型，支持在计算成本和生成质量之间动态权衡的 Any-Time 推理。
性能表现：在同等推理算力下，参数量减少 4 倍。在 ImageNet 256x256 上达到极具竞争力的 2.0 FID，在 UCF-101 上达到 72.8 FVD。
训练加速：最新实验表明，通过释放 HBM 并利用循环架构，可以将内存换取速度（例如使用展开/for 循环替代 jax.lax.scan）。

该论文已被 ECCV 2026 接收。

「多模态」频道最新