SGLang 发布 Unified Memory，解决混合模型显存难题

LMSYS 的 SGLang 团队正式发布 Unified Memory 机制（--enable-unified-memory），针对混合架构模型中同时存在全注意力 KV、滑窗 KV 和循环状态导致固定显存分区浪费的难题，让各类状态共享 GPU 内存池，并免去用户手动调整分区参数。为简化这一个引擎参数的使用体验，团队花费数月重写了整套内存系统。

2026-11-12 ~ 2026-11-12 · 2 条相关