腾讯开源稀疏注意力新方法 SAPS，让损失函数直接学 KV 分块
teortaxesTex · x · 2026-09-15
腾讯在 Hugging Face 上发布了新的稀疏注意力方法 Simple Attention Sparsification（SAPS）。
其核心思路是让语言建模损失直接优化每个 query 该关注哪些 KV block，即把稀疏注意力的分块选择从启发式规则变成可端到端学习的过程，有望降低长上下文推理的注意力开销。代码与模型已在 Hugging Face 开放。
所属事件:腾讯开源稀疏注意力方法 SAPS，延长 Qwen3 上下文(2 条相关)→
「研究」频道最新
- AI 择偶偏好研究爆火:45 万人完成测试,v2.0 上线 — SpencrGreenberg · 2026-09-15
- arXiv 管理引不满:学者批其偏离预印本定位、严管 AI 论文 — RexDouglass · 2026-09-15
- BuzzASR 发布 102 个单语语音识别模型，77 种语言超越 Whisper — LChoshen · 2026-09-15
- ICIP 2026 主旨报告：从显式先验到学习式复原算子的成像范式转变 — prof_kamilov · 2026-09-15
- Denny Zhou 提议 arXiv 收取投稿费，NeurIPS 等已在跟进 — MengdiWang10 · 2026-09-15
- arXiv 新论文：Lp 校准误差的变分估计器，区分过度与不足置信 — _onionesque · 2026-09-15