开发者提出 GAP 架构：门控单块融合注意力与 MLP,省 20% 参数
WAMFT · reddit · 2026-11-09
Reddit 用户 rickey1990 发布了实验性 Transformer 架构 GAP(Gated Attention Projection),核心思路是把注意力与 MLP 式处理合并进单个门控块，取代标准的分离式注意力/前馈子层。
- 实验设置：每个模型用 1 亿 token 的 WikiText-103 训练，与标准 Transformer 对比。
- 参数：GAP20 比标准 Transformer 少 19.91% 参数(更激进的配置可省 34.31%,但效果不佳，作者把 14% 的参数省额度还给模型换宽度)。
- 结果：最终语言建模准确率上标准 Transformer 仍更好；GAP20 经 torch.compile 编译后 CPU 吞吐提升约 19.9%。
- 架构代码、可配置模型尺寸、速度基准与研究论文均已开源(GitHub: rickey1990/Gated-Attention-Projection)。
作者明确表示这是实验性探索而非「超越 Transformer」的宣称，欢迎对设计、数学与改进方向的反馈。
「研究」频道最新
- Meta 高管暗示入局 AI4Science，前沿实验室竞赛扩围 — kimmonismus · 2026-11-09
- 每日3克肌酸四周即可提升女性认知功能,年长女性改善更明显 — 2C_ornot2C · 2026-11-09
- Brynjolfsson 等变革性 AI 经济学研究议程登 CACM — erikbryn · 2026-11-09
- 研究者质疑前沿模型能力加速证据：算力转向 RL 或是混杂变量 — DavidSKrueger · 2026-11-09
- 斯坦福系科普：神经网络输出层与激活函数入门 — HarperSCarroll · 2026-11-09
- Ropedia W0:用万小时人类视频训练机器人世界模型,LIBERO-Plus 提升 6.76 个百分点 — jiqizhixin · 2026-11-09