改进 Transformer 深度注意力：多头注意力残差提升模型表现
heghbalz · x · 2026-08-02
传统 Transformer 在跨深度传递信息时，通常只使用单一的注意力残差流。这导致不同特征子空间被迫共享同一个查询分布，随着模型宽度增加，性能损耗变大。
论文《Multi-Head Attention Residuals》提出了一种新方法 MHAR：
- 核心机制：将路由查询重塑为 H 个独立的子空间头，每个头拥有自己的 softmax 来处理深度历史记录。
- 零新增参数：该操作本质上是一次 reshape，不增加额外参数和可忽略的计算开销。
- 效果显著：在 100M、350M 和 1B 参数模型上，验证损失均优于标准 Transformer，且模型越大优势越明显。
- 最佳配置：头数 H 是一个关键设计维度，H=4 或 H=8 时效果最佳，过大（如 H=16）反而会导致性能回落。
所属事件:MHAR 改进 Transformer 残差连接以降低模型验证损失(2 条相关)→
「研究」频道最新
- MIT AI 模型解码细胞通信语言，瞄准再生医学 — emmanuelvivier · 2026-10-16
- 视觉预训练模型做触觉预测有多难?机器人研究者激辩跨模态迁移 — KyleMorgenstein · 2026-10-16
- Tsallis 熵正则化最优 transport 统一 Monge 与 Sinkhorn 两大框架 — FrnkNlsn · 2026-10-16
- EPFL/DeepMind 研究者将线上讲解 Simplex Diffusion Models 论文 — ArnaudDoucet1 · 2026-10-16
- 美团 LongCat 团队发布 Data World：合成数据环境训练数据智能体 — meituan-longcat · 2026-10-16
- FDE-Gym 基准曝光 AI 交付最后一英里：前沿模型得分最多 0.56 — DeepLethe · 2026-10-16