开源 LSA 稀疏注意力让超长上下文提速 22.7 倍

Prefrontal AI 团队（作者包括 Torsten Hoefler、James Whittington 等）发布并开源论文 Latent Sparse Attention（LSA），迈向亚二次方复杂度注意力。研究发现稀疏注意力的索引构建占预填充阶段约 98% 耗时，LSA 针对此优化，在千万级 token 超长上下文下准确率与全注意力相当，最高提速 22.7 倍。这是该团队首批开源研究成果之一。

2026-11-07 ~ 2026-11-08 · 2 条相关