LMSYS XM-Sparse：KV 卸载解码提速，每 token 时间最多降 63.6%
xiaosun86 · x · 2026-11-06
LMSYS 发布 XM-Sparse：在 SGLang HiSparse 稀疏注意力基础上结合 Netpreme 的 X-Mem 内存系统，通过高带宽互联直接取回被卸载的 KV，速度超过走 PCIe 的主机 DRAM，并为更大 batch 留出容量。
- 解码更快：16K 上下文、每 GPU batch 192 时，KV 缺失率 20%/40% 下每 token 时间分别比主机 DRAM 低 49.25%/63.58%
- 吞吐更高：16K–1M 上下文、20% 缺失率下，吞吐为主机 DRAM 的 2.09–3.04 倍
目前为试点 VM 评估，X-Mem 专用芯片即将推出。
「Infra」频道最新
- Foundry Local 本地跑 Agent 编码，长上下文解码最快快近 2 倍 — pmttyji · 2026-11-06
- 得州数据中心争议：人口1700县的Hamlet样本 — builderjaydub · 2026-11-06
- Polymarket 民调:56% 选民称 AI 与数据中心影响中期选举投票 — KyeGomezB · 2026-11-06
- 注意力内核遇上真实模型：可解释性与系统研究的交集 — QuentinAnthon15 · 2026-11-06
- MoE 预训练 All-to-All 通信占训练步 60%,新方法削减 58% 分发行 — QuentinAnthon15 · 2026-11-06
- 得州数据中心法案真相:已获批项目照建,新项目只需更严消费者保护 — VraserX · 2026-11-06