腾讯开源稀疏注意力新方法 SAPS，让损失函数直接学 KV 分块
teortaxesTex · x · 2026-09-15
腾讯在 Hugging Face 上发布了新的稀疏注意力方法 Simple Attention Sparsification（SAPS）。
其核心思路是让语言建模损失直接优化每个 query 该关注哪些 KV block，即把稀疏注意力的分块选择从启发式规则变成可端到端学习的过程，有望降低长上下文推理的注意力开销。代码与模型已在 Hugging Face 开放。
所属事件:腾讯混元开源稀疏注意力方法 SAS，延长模型上下文(4 条相关)→
「研究」频道最新
- AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine — stochasticchasm · 2026-10-30
- NVIDIA 研究员：利用仿真特权信息训练机器人策略，改进 Pi 0.5 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- CMU 用 Agent 自动建 25 个物理仿真:前沿模型测试任务 0 通过 — wellecks · 2026-10-30
- 仿真训练的关键红利:利用模拟器特权信息改进模型 — wellecks · 2026-10-30
- DeepMind f_charton 谈 AI 与数学现状：庞加莱研究所演讲上线 — f_charton · 2026-10-30