Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍
bendee983 · x · 2026-11-12
- 稀疏注意力解决了 LLM 长上下文的内存与算力瓶颈，但仍有一个遗留问题：每个新 query 都要遍历全部 KV 值才能判断哪些相关。
- Latent Sparse Attention（LSA）改变了 KV 值的存储方式：不再平铺排列，而是把 KV 组织成簇（还可进一步构成簇的层级结构）。新 query 先与各簇的质心比较，再只与相关簇内的 KV 做精细比对，大幅减少需要逐个检查的键值数量。
- 据介绍，LSA 比现有稀疏注意力方法快 20 倍以上，比全注意力快 70 倍以上。配图演示了从池化 keys、潜空间聚类、树搜索到 top-k 注意力的完整检索流程。
「Infra」频道最新
- MIT Han Lab 等发布 Agent 自适应推理框架，延迟较 NVIDIA Dynamo 降 4.1 倍 — mit-han-lab · 2026-11-12
- 特斯拉去年部署 46.7 GWh 储能电池，占全球新增总量超 15% — XFreeze · 2026-11-12
- 开源量化方案 KQuant 让 Qwen 系列 MLX 量化最高逼近 3.7 倍 — m4rkGS · 2026-11-12
- 百度昆仑芯 M100 如期出货，M300 定于 2027 年发布 — Baidu_Inc · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12
- AWS re:Invent 五大预测:Bedrock Agent 升级与 Trainium 新品领跑 — DavidLinthicum · 2026-11-12