开源 LSA 稀疏注意力：Qwen 27B 上下文扩至千万 token

Prefrontal AI 联合 NVIDIA、Nebius 开源 Latent Sparse Attention（LSA）稀疏注意力方法。实测显示 Qwen 3 27B 的注意力可被稀疏化且精度无明显损失，上下文扩展到 1000 万 token 时部分特定任务精度仅略降；10M token prefill 最高提速 72.4 倍。团队还确认已全面开源代码，包括 SGLang 集成、上下文并行以及针对 H200/B300 的内核。

2026-11-03 ~ 2026-11-03 · 3 条相关

• Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍 — jcrwhittington · 2026-11-03
• 开源训练全细节：SGLang 集成与 H200/B300 内核一并放出 — francoisfleuret · 2026-11-03
• 开源稀疏注意力新方法:Qwen 27B 无损压缩,上下文可延至 1000 万 token — Immediate_Sky_6566 · 2026-11-03