Gated Recurrent Transformer:3层循环深度模型打平12层GPT-2
burny_tech · x · 2026-09-20
研究者提出 Gated Recurrent Transformer(GRT),一种循环深度架构:用固定的 prelude/coda 模块夹住一个共享核心块,迭代 R 次,借鉴门控 RNN 的思路,用轻量投影和逐元素更新门(基于隐状态、prelude 输出和每步重采样的噪声)来调制循环更新,让同一组少量层在循环中实现功能多样化,而不需要每层独占权重。
主要结果:
- 在相同训练与推理 FLOPs 下,3 层 GRT 的准确率与 12 层 GPT-2 Small 持平;
- 大规模下参数量减少 63%,峰值解码显存减少 59%;
- 在 isoFLOPS 约束下,全部 9 个按预算 scale 的单元中领先 MoR 与 heavy-tail 深度采样;
- 标准训练预算下在中大规模接近稠密模型质量,预算加倍后中规模反超。
论文:arXiv:2608.15062,作者 Amr Hegazy、Amr Alanwar、Mostafa Elhoushi。
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12