新架构降参 60%，Cerebras 等提出门控循环 Transformer

burkov · x · 2026-08-30

Cerebras、开罗德国大学和慕尼黑工业大学联合发表一篇论文，介绍了一种门控循环 Transformer (Gated Recurrent Transformer) 架构。该架构通过在迭代共享层中使用状态条件调制 (state-conditioned modulation)，在保持标准语言模型性能的同时，将参数量和峰值解码内存减少了约 60%。

所属事件:门控循环 Transformer 架构实现参数减半匹敌 GPT-2(2 条相关)→

原文链接 →

「研究」频道最新

• Elastic Triangle Splatting 改进内核函数设计 — zhenjun_zhao · 2026-09-01
• 前馈 3D 重建模型的置信度校准审计 — zhenjun_zhao · 2026-09-01
• ReconSplat 结合扩散先验实现视图外重建 — zhenjun_zhao · 2026-09-01
• 研究 3D Gaussian Splatting 何时能恢复真实表面 — zhenjun_zhao · 2026-09-01
• DiffSAC 用扩散模型指导鲁棒估计采样 — zhenjun_zhao · 2026-09-01
• 单目 SLAM 抗干扰评测:学习方法把灾难性失败换成了持续漂移 — zhenjun_zhao · 2026-09-01

更多「研究」频道 AI 资讯 →