Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍
jcrwhittington · x · 2026-11-03
Prefrontal AI 团队（与 NVIDIA、Nebius 合作）发布 Latent Sparse Attention（LSA），迈向在超长上下文下匹配全注意力精度的次二次复杂度注意力。
- 原理：在习得的潜空间中按语义（而非位置）分层聚类 keys，query 先对高层簇打分再深入最相关簇，避免扫描全部 tokens——10M token 下检索占注意力层 98% 耗时，LSA 直接优化这一步
- 两种变体：D-LSA 可经短蒸馏加到预训练模型（只训新 indexer）；N-LSA 原生从零训练
- 成绩（10M token，H200）：D-LSA 在 Qwen-3.8-27B 上注意力层 prefill 较全注意力快 72.4 倍（端到端 9.2 倍），在 GLM-5.3-Flash 上较其原稀疏注意力快 22.7 倍（端到端 2.2 倍），decode 提速 4.6 倍/42.5 倍，精度持平；从零训练混合模型时训练墙钟时间省 1.24 倍
- 全部开源：含 SGLang 集成与上下文并行的代码、H200/B300 kernel、训练与推理细节（论文 arXiv:2610.42147）
「Infra」频道最新
- 分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik · 2026-11-03
- 谷歌把 4 颗 TPU 送入太空跑 Gemma 4:电力只够一次点亮一颗,每轮运行 20 分钟 — demian_ai · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03
- UCSB 三个 ECE 项目获 IEE 种子资金，主攻能效 AI 与量子硬件 — ninamiolane · 2026-11-03
- 欧洲物理 AI 路线图：Gigafactory、主权算力与高风险 AI 法规并行 — ingliguori · 2026-11-03
- 权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik · 2026-11-03