腾讯混元提出 SAS：门控端到端优化上下文排序，改进稀疏注意力
_akhaliq · x · 2026-09-14
腾讯混元团队发布论文《SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking》，改进后训练阶段的注意力稀疏化。
- 问题：现有可训练稀疏注意力方法用轻量选择器对上下文单元打分后做 hard Top-K 选择，阻断了语言建模损失的梯度，只能蒸馏逐层稠密注意力分布；由此得到的排序与固定注意力预算下对预测的实际影响不对齐，浪费有限预算。
- 方法：将选择器的连续分数注入 attention logits（softmax 内的连续门控），使语言建模损失可通过标准反向传播端到端地更新选择器。
- 效果：在严格的上下文预算下获得更好的上下文排序，降低二次方累积注意力成本。论文还指出门控放置位置等若干关键设计选择。
所属事件:腾讯混元开源稀疏注意力方法 SAS，延长模型上下文(4 条相关)→
「研究」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 30 位专家定义 AI 临床安全分类法，压测显示离自主诊疗仍很远 — AleksandraFaust · 2026-10-31
- 手写 RAGEN 代码成 FrontierCS 2 第三难任务，限 0.5 A100 小时 — wzenus · 2026-10-31
- 复旦腾讯清华推出 ExplorationBench：55 个改动规则考验 AI 真探索能力 — jiqizhixin · 2026-10-31
- 机器人评测绕不开基准难题:Drift 主张按真实部署场景定制测试 — jonstephens85 · 2026-10-31
- 研究发现：对抗非人类相似模型训练时，能力迁移明显触顶 — saurabh_shah2 · 2026-10-31