门控循环 Transformer 架构实现参数减半匹敌 GPT-2

Cerebras 联合开罗德国大学和慕尼黑工业大学发表新论文，提出门控循环 Transformer（GRT）架构。该架构通过重复使用小型共享 Transformer 核心来解耦深度与参数数量，并利用基于隐藏状态的门控机制决定信息的保留与重写。实验显示，GRT 在参数减少约一半（降参 60%）的情况下，性能可匹敌 GPT-2 规模的模型，为高效大模型设计提供了新思路。

2026-08-30 ~ 2026-08-30 · 2 条相关