新残差连接 GatedResidual 性能优于 HyperConnections
nrehiew_ · x · 2026-08-27
帖子讨论了一种新的残差连接变体 GatedResidual，该结构先对各分支进行 RMSNorm，再通过低秩瓶颈进行投影，并使用单一分支级标量进行写入。实验对比显示，QSA 在语言建模任务上表现更好，在 RULER 评测中与基本持平。在效率方面，新方法表现更优且不影响 MTP 接受率。
所属事件:QSA 注意力与 GatedResidual 实测性能双双超越基线(2 条相关)→
「研究」频道最新
- Hugging Face 事故复盘：模型策略意识引争议 — akbirkhan · 2026-08-27
- 回顾新冠时期的医院分诊聊天机器人实践 — AryHHAry · 2026-08-27
- JIT-Agent：通过即时 Harness 进化提升模型智能 — NationalUniversityofSingapore · 2026-08-27
- D³-MOPD：通过动态域调度提升多教师蒸馏效率 — Zechen Sun · 2026-08-27
- 前沿模型科学工作流完成率仅 20%？FrontierChallenge 评测揭示 — apodex · 2026-08-27
- Agent-G²：用高斯分布优化长期任务强化学习 — ZhejiangUniversity · 2026-08-27