腾讯混元开源SAS:端到端训练稀疏注意力上下文排序
Tencent-Hunyuan · hf · 2026-09-14
腾讯混元发布 SAS(Simple Attention Sparsification),改进稀疏注意力方法。
- 在注意力 softmax 内部加入连续门控,将选择器与语言建模损失端到端联合训练
- 避免了传统稀疏注意力中独立的上下文排序模块,提升排序质量
- 在紧张的 token 预算下取得更好的上下文排序效果,代码已在 Hugging Face 开源
所属事件:腾讯混元开源稀疏注意力方法 SAS，延长模型上下文(4 条相关)→
「研究」频道最新
- AIR 调度器:按有效学习率设计,128B token MoE 预训练超越 cosine — stochasticchasm · 2026-10-30
- NVIDIA 研究员：利用仿真特权信息训练机器人策略，改进 Pi 0.5 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- CMU 用 Agent 自动建 25 个物理仿真:前沿模型测试任务 0 通过 — wellecks · 2026-10-30
- 仿真训练的关键红利:利用模拟器特权信息改进模型 — wellecks · 2026-10-30
- DeepMind f_charton 谈 AI 与数学现状：庞加莱研究所演讲上线 — f_charton · 2026-10-30