新架构降参 60%，Cerebras 等提出门控循环 Transformer
burkov · x · 2026-08-30
Cerebras、开罗德国大学和慕尼黑工业大学联合发表一篇论文，介绍了一种门控循环 Transformer (Gated Recurrent Transformer) 架构。该架构通过在迭代共享层中使用状态条件调制 (state-conditioned modulation)，在保持标准语言模型性能的同时，将参数量和峰值解码内存减少了约 60%。
所属事件:门控循环 Transformer 架构实现参数减半匹敌 GPT-2(2 条相关)→
「研究」频道最新
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- UNSW 提出 EDEN：嵌入空间锚定噪声增强 LLM RLVR 探索 — Daijiao Liu · 2026-10-16
- 自动驾驶团队演示窄路僵局：车辆学会倒车让行，并自制机械臂换挡测试 — sanjeevs_iitr · 2026-10-16