开源 LSA 稀疏注意力：超长上下文最高提速 22.7 倍
TheTuringPost · x · 2026-11-07
- 团队发布首批开源研究成果之一：Latent Sparse Attention（LSA），迈向亚二次方复杂度注意力的一步，在超长上下文下准确率与全注意力相当。
- 核心洞察：稀疏注意力每个 query 只关注少数 token，但在 1000 万 token 规模下，「找到该关注的 token」这一搜索过程占掉注意力层约 98% 的时间。
- LSA 通过潜在（latent）机制解决这一检索瓶颈，可将稀疏注意力提速最高 22.7 倍，被视为在超长上下文下高效扩展 AI 的有前景方向。
「Infra」频道最新
- 开源项目 BUI 抠出 Blender GPU UI 内核：内存仅 18MB、冷启动 12ms — Obijuan_cube · 2026-11-07
- TSMC 展示 BEOL 内存计算:0.75V 运行、读写周期 <8ns — Terminator857 · 2026-11-07
- 数据中心背锅？PJM 上半年电价上涨主因是电价本身涨 47.7% — kimmonismus · 2026-11-07
- 高通 NeurIPS 论文：用 Leech 格向量量化压缩 LLM，端侧推理无需码本 — HowDevelop · 2026-11-07
- Box CEO：长时运行 Agent 将重塑数据中心地理布局 — inductionheads · 2026-11-07
- Cloudflare 发布 Vole-Mole,为后量子时代的网页隐私铺路 — AIWithLucas · 2026-11-07