腾讯开源稀疏注意力方法 SAPS，延长 Qwen3 上下文

腾讯在 Hugging Face 上开源了稀疏注意力方法 Simple Attention Sparsification（SAPS/SAS）。其核心思路是让语言建模损失直接学习 KV 分块，实现注意力稀疏化，并基于 Qwen3-14B 微调发布文本生成模型，从而有效延长模型的上下文处理能力。

2026-09-14 ~ 2026-09-15 · 2 条相关

• 腾讯开源 Simple-Attention-Sparsification：稀疏注意力延长 Qwen3 上下文 — tencent · 2026-09-14
• 腾讯开源稀疏注意力新方法 SAPS，让损失函数直接学 KV 分块 — teortaxesTex · 2026-09-15