SGLang 推出 Unified Memory：共享内存池终结 KV 分区浪费
BanghuaZ · x · 2026-11-12
LMSYS（SGLang 团队）发布 Unified Memory 机制，解决混合架构模型的显存管理难题：这类模型同时包含全注意力 KV、滑窗 KV 和循环状态，而固定的显存分区会浪费 GPU 容量。新方案用一个共享 arena，让显存按需动态分配。
关键设计：
- 无分区参数、支持任意页大小、零跨类型碎片；
- 以 token 为中心的 KV 布局，覆盖投机解码的 draft KV；
- 智能准入机制，可重排内存以接纳新请求；
- GPU 计算进行中也可安全异步复用页。
对自托管混合模型的推理吞吐和显存利用率是实质性改进。
所属事件:SGLang 发布 Unified Memory，解决混合模型显存难题(2 条相关)→
「Infra」频道最新
- AMD CEO 苏姿丰：我们是数据中心优先的公司，Q4 环比再增 50% — dr1337 · 2026-11-12
- Minimax H3 单卡5090跑出61MP原生大图，110秒一张可商用 — q5sys · 2026-11-12
- TTunguz 追问 AI 价值链谁拿走最多利润：从电厂到 Agent 全链条算账 — AccBalanced · 2026-11-12
- 8卡 AMD MI355X 服务器报 50.5 万美元，2.3TB 显存约 12 周到货 — AIFlow_ML · 2026-11-12
- 审计 5 亿次 token 后发现:子代理反而省 钱,冷启动才是账单杀手 — Adorable-Cost-3249 · 2026-11-12
- Together AI:流量形态决定推理瓶颈，先测量再优化 — togethercompute · 2026-11-12