SGLang 发布 Unified Memory:混合模型共享 GPU 内存池,免调分区参数
ying11231 · x · 2026-11-12
LMSYS 在 SGLang 中正式发布 Unified Memory(--enable-unified-memory),为节省用户调一个引擎参数,团队花数月重写了整套内存系统。
要解决的问题:混合模型(全注意力 KV、滑窗 KV、循环状态)传统上需在启动时静态划分 GPU 内存,不知负载就硬分,浪费容量。
核心设计(详见官方博客)
- 所有状态类型共享一个 GPU 内存 arena,容量按需求动态流动,无需分区调参
- 任意 page size,用 compaction 搬移活跃分配,零跨类型碎片
- 新 KV 布局:每个 token 所有层的 KV 行打包成一个条目,统一分配/释放/搬移,含投机解码 draft KV
- 智能准入(admission)判断整请求能否放下;GPU 在飞工作期间安全的异步页复用
兼容性:覆盖投机解码、PD 分离、HiCache 等现有特性;团队征集对比分区内存在功能不兼容或性能回退的反馈。
所属事件:SGLang 发布 Unified Memory，解决混合模型显存难题(2 条相关)→
「Infra」频道最新
- Bloomberg 推出黄仁勋专题：四天四国跟拍 AI 芯片王的崛起与危机 — nmasc_ · 2026-11-12
- 苹果首款触屏 MacBook Pro 跑通 Linux:GPU 与触屏均已可用 — john_lam · 2026-11-12
- AMD CEO 苏姿丰：我们是数据中心优先的公司，Q4 环比再增 50% — dr1337 · 2026-11-12
- Minimax H3 单卡5090跑出61MP原生大图，110秒一张可商用 — q5sys · 2026-11-12
- TTunguz 追问 AI 价值链谁拿走最多利润：从电厂到 Agent 全链条算账 — AccBalanced · 2026-11-12
- 8卡 AMD MI355X 服务器报 50.5 万美元，2.3TB 显存约 12 周到货 — AIFlow_ML · 2026-11-12