腾讯混元开源稀疏注意力方法 SAS，延长模型上下文

腾讯混元团队发布并开源稀疏注意力方法 SAS（Simple Attention Sparsification），在 Hugging Face 上放出基于 Qwen3-14B 微调的模型。其核心思路是在注意力 softmax 内部加入连续门控，将上下文选择器与语言建模损失端到端联合优化，直接学习 KV 分块，相比以往稀疏注意力方法显著简化并改进效果，可延长模型上下文长度。

2026-09-14 ~ 2026-09-15 · 4 条相关

• 腾讯混元开源SAS:端到端训练稀疏注意力上下文排序 — Tencent-Hunyuan · 2026-09-14
• 腾讯开源 Simple-Attention-Sparsification：稀疏注意力延长 Qwen3 上下文 — tencent · 2026-09-14
• 腾讯混元提出 SAS：门控端到端优化上下文排序，改进稀疏注意力 — _akhaliq · 2026-09-14
• 腾讯开源稀疏注意力新方法 SAPS，让损失函数直接学 KV 分块 — teortaxesTex · 2026-09-15