腾讯混元开源SAS:端到端训练稀疏注意力上下文排序
Tencent-Hunyuan · hf · 2026-09-14
腾讯混元发布 SAS(Simple Attention Sparsification),改进稀疏注意力方法。
- 在注意力 softmax 内部加入连续门控,将选择器与语言建模损失端到端联合训练
- 避免了传统稀疏注意力中独立的上下文排序模块,提升排序质量
- 在紧张的 token 预算下取得更好的上下文排序效果,代码已在 Hugging Face 开源
「研究」频道最新
- UMass AutoIndex 把切块策略变成 LLM 写的代码,检索优化新思路 — mrdrozdov · 2026-09-14
- OpenAI 宣布 AI 智能体解开千禧年难题：Navier-Stokes 方程确会爆破解 — Chris_Armstrong · 2026-09-14
- Hugging Face 作者做交互式 Flow Matching 可视化教程 — aritra_rg · 2026-09-14
- KAIST 提出PLC-DPO:用后验校正处理含噪偏好标签 — kaist-ai · 2026-09-14
- 新加坡国立大学 LIT 方法破解机器人视觉-动作捷径泛化难题 — NationalUniversityofSingapore · 2026-09-14
- 港中深 COBRA-Skills:上下文赌臂引导 LLM 智能体技能进化 — CUHKSZ · 2026-09-14