LSA 稀疏注意力跑通 Apple Silicon：128k 上下文 TTFT 降 31%、内存省 29%
GabGarrett · x · 2026-11-05
rapidmlx 团队把 Latent Sparse Attention（LSA）端到端跑在 Apple Silicon 上，并给出混合方案实测（Qwen3.8-27B，M3 Ultra，128k 上下文）：
- Time to first token：640s → 440s（-31%）
- 峰值内存：40.7 GB → 28.8 GB（-29%）
- MTP 解码速度：零回退
关键洞察：纯 LSA 的 prefill 加速与论文一致（64k 快 1.16×、128k 快 1.41×），但解码反而变慢——per-token 路由开销在受内存带宽限制的 decode 阶段是负担。解法是混合策略：用稀疏注意力消化 prompt（compute-bound 阶段），生成阶段交给稠密 MTP（bandwidth-bound 阶段）。
LSA 本身来自 jcrwhittington 团队的开源发布：在 10M token 时 token 检索占注意力层 98% 时间，LSA 让稀疏注意力快至 22.7×、全注意力快 72.4×，且在超长上下文下精度匹配全注意力。团队预告接下来将在 M 系列全系实测 Qwen3.8-27B 与 GLM-5.3-Flash。
「Infra」频道最新
- Llama 应用一键本地运行决策模型，新增 d1-Omni 与 d3-flash — huggingface · 2026-11-05
- WSJ：OpenAI 高层讨论明年数据中心容量预期是否需要重置 — haydenfield · 2026-11-05
- 提示词被记录与被关联到你是两回事：AI API 隐私的分离解法 — tres_pares · 2026-11-05
- 欧洲 15 国百余家团体抗议数据中心，KOL 类比当年 5G 反对潮 — thealexbanks · 2026-11-05
- Strata 0.2.11 上线 Unsloth Dynamic v3.1 量化,含 7 档 1-4bit GGUF — danielhanchen · 2026-11-05
- Strata 0.2.11 支持 Unsloth Dynamic v3.1 量化,1-bit 仅 68GB — danielhanchen · 2026-11-05