新 GRT 架构：参数减半可匹敌 GPT-2
burny_tech · x · 2026-08-30
论文提出“门控循环 Transformer (GRT)”，通过重复使用小型共享 Transformer 核心来解耦深度与参数数量。该架构利用基于隐藏状态的门控决定信息保留与重写，使相同权重在不同深度表现出不同行为。实验表明，在相同 FLOPs 下，3 层 GRT 匹配了 12 层 GPT-2 Small 的精度；大型模型参数减少约 62%，峰值解码内存减少 59%。此外，递归深度可作为推理时的计算超参数，通过增加递归步骤提升潜在计算能力而不增加参数量。
所属事件:门控循环 Transformer 架构实现参数减半匹敌 GPT-2(2 条相关)→
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16