分层稀疏注意力方法统一检索与采样，提升极端稀疏下长上下文推理
Skylight1 · hf · 2026-10-23
Hugging Face 上发布的 Stratified Sparse Attention（SSA） 提出了一种减少稀疏注意力与稠密注意力在极端稀疏度下差距的方法。
- 核心思路：将确定性的重要 token 检索与基于分数引导的采样统一起来，回收被稀疏化丢弃的注意力质量
- 代理分数：用 qᵀk/√d 的低成本近似分数计算采样概率，重 token（heavy hitters）始终加载，其余按概率有放回采样补足预算
- 效果：在多个长上下文基准上同时提升推理准确率与速度
「研究」频道最新
- AnyGoal 研究质疑世界模型:可能只是记轨迹,并未学到可复用的世界规则 — randall_balestr · 2026-10-23
- 25 位学者新论文:用芯片供应链「硬暂停」前沿 AI 训练可行吗 — wfithian · 2026-10-23
- TUM 发布 Tadpole：自编码器当 3D PDE 基础模型，NeurIPS 论文 — jiqizhixin · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗：每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23
- 新论文用二次模型复现 Transformer 训练 loss 尖峰，直指成因本质 — CSProfKGD · 2026-10-23