Loopback Transformer 用 40-75% 参数追平甚至超越标准架构
新论文《Loopback Transformer: Towards a Unified View of Residual Looped Transformers》提出 Loopback 架构,通过重复应用共享模块(循环层)来大幅减少参数量。实验显示该架构仅用 40%-75% 的参数即可追平甚至超越标准 Transformer,例如以 75% 参数达到 3B 标准 Transformer 的性能,为统一残差与循环 Transformer 视角提供了新思路。
2026-11-22 ~ 2026-11-23 · 2 条相关
- Loopback Transformer:仅用 40-75% 参数超越标准 Transformer — Crazy-Repeat-2006 · 2026-11-22
- Loopback 架构用 75% 参数追平 3B 标准 Transformer 性能 — pbaylies · 2026-11-23