Qwen 门控注意力论文揭示:attention sink 可由门控统一表达
miyashita_03 · x · 2026-11-13
X 用户 miyashita03 注意到 Inkling 2 Small 同时使用了动态 attention sink 和门控注意力(gated attention),并质疑前者可能冗余——因为门控注意力已能表达同样功能。
- 他在引用帖中给出推导:重排 softmax 后,attention sink 隐式充当一个 sigmoid 门,门控注意力是它的更泛化版本,可逐维度独立学习门控
- 依据的是 Qwen 团队论文 arXiv:2505.06708《Gated Attention for Large Language Models》:在 15B MoE 和 1.7B dense 模型上系统对比 30 种门控变体(3.5T token 训练),发现在 SDPA 后加 head 级 sigmoid 门可稳定提升性能、增强训练稳定性、容忍更大学习率
- 论文作者之一 Songlin Yang 回复称两种机制是「可叠加的」(stackable)