LSA 论文：稀疏注意力索引占预填充 98% 耗时，10M 上下文提速 22.7 倍
burny_tech · x · 2026-11-08
Prefrontal AI 团队（作者含 Torsten Hoefler、James Whittington 等）发布论文 Latent Sparse Attention (LSA)，针对超长上下文（1M token 以上）注意力成本问题。
问题：稀疏注意力本为省算力，但查找相关 token 的索引过程本身在超长上下文下极其昂贵，有时占注意力预填充时间的 98%；现有索引方法要么仍是二次方成本，要么在超长上下文下掉精度。
方法：LSA 将 key 在学习到的隐空间中分层聚类，query 只对聚类层级打分而非逐 key 打分，从而加速预填充、解码与训练。提出两个变体：
- D-LSA：可经蒸馏套用到已预训练模型；
- N-LSA：仅用 next-token loss 原生训练。
结果：在 GLM-5.3-FLASH（QWEN-3.8-27B）上、10M token 场景，D-LSA 单层注意力预填充提速 22.7 倍（对全注意力为 72.4 倍）、解码提速 4.6 倍（42.5 倍），精度与原方法相当；N-LSA 在 128k token 下精度追平全注意力，训练单层提速 1.6 倍。论文称其为让模型真正受益于超长上下文的实用高效注意力方案。
所属事件:开源 LSA 稀疏注意力让超长上下文提速 22.7 倍(2 条相关)→
「Infra」频道最新
- 生成式媒体推理平台 Fal 融资 13 亿美元,估值翻倍至 160 亿 — dl_weekly · 2026-11-08
- 博主混用开源模型省 token:Opus 干硬活,便宜模型跑「软件工厂」 — dbreunig · 2026-11-08
- 用 Claude Opus 一天迁移监控栈,日志告警成本降 38 倍 — BenBajarin · 2026-11-08
- 晶科能源拟在宁夏建 1GW 光伏直供数据中心，投资 24.5 亿元 — teortaxesTex · 2026-11-08
- RTX 5090 现货价降至 6759 美元,较此前万元高价明显回落 — Beneficial-Ad-8127 · 2026-11-08
- 「GPU 无家可归」激增：有算力没机房，圈内人四处求托管的梗 — markjeffrey · 2026-11-08