Loopback Transformer 用 40-75% 参数追平甚至超越标准架构

新论文《Loopback Transformer: Towards a Unified View of Residual Looped Transformers》提出 Loopback 架构,通过重复应用共享模块(循环层)来大幅减少参数量。实验显示该架构仅用 40%-75% 的参数即可追平甚至超越标准 Transformer,例如以 75% 参数达到 3B 标准 Transformer 的性能,为统一残差与循环 Transformer 视角提供了新思路。

2026-11-22 ~ 2026-11-23 · 2 条相关