HiSparse 混合稀疏注意力进 vLLM,8×H200 并发从 5 提到 25
eliebakouch · x · 2026-09-09
- samsja19 团队宣布与 vLLM 合作推进稀疏注意力与 HiSparse。稀疏注意力只选 top-K token 做注意力,能降低内存带宽压力,但不减少 KV cache 的显存占用;在高吞吐 wide-EP 部署中,长序列解码很快耗尽 VRAM,无法用足够并发请求吃满算力。
- HiSparse 的解法是把不活跃 KV 卸载到 CPU:GPU 上保留 LRU 热缓存,由于解码时大量 K token 被重复使用,卸载几乎无感,从而大幅降内存、提并发,对追求吞吐、希望尽量处于 compute-bound 区间的 RL 训练尤其重要。
- vLLM 侧的 Hybrid HiSparse 基于 Sparse MLA(只关注 top-K token,其余 KV 无需常驻 GPU):显存有余时 KV 留在 GPU,压力下把最冷页释放到主机内存,仅保留 indexer 需要的小型热缓冲,请求可继续解码而不被抢占。
- 实测数据:在单个 8×H200 节点、GLM 5.3、完整 1M 上下文、配置并发 32 的条件下,普通 KV offloading 只能维持 5-6 个请求运行,Hybrid HiSparse 维持 19-25 个。热页是同一内存池中的普通 KV 块(Hybrid Memory Allocator),并用单个融合 kernel 完成解析。
所属事件:vLLM 引入 HiSparse 混合稀疏注意力，长上下文并发翻两番(2 条相关)→
「Infra」频道最新
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26