环状 Transformer 讨论再起，Sparse Universal Transformer 早有探索

针对当下热议的循环 Transformer 与按 token 自适应计算，研究者沈益康（Yikang Shen）指出这正对应其团队数年前提出的 Sparse Universal Transformer 论文思路：利用 SMoE（稀疏混合专家）技术让共享参数的 Universal Transformer 实现可扩展。该讨论重新引发社区对这一早期架构方案的关注。

2026-09-04 ~ 2026-09-04 · 2 条相关

• 环状 Transformer 讨论再起:三年前的 Sparse Universal Transformer 已试过 — Yikang_Shen · 2026-09-04
• Sparse Universal Transformer:用 SMoE 让共享参数 Transformer 可扩展 — Yikang_Shen · 2026-09-04