vLLM-Metal 合并睡眠模式：Mac 空闲时归还 KV cache 内存
abhijithneil · x · 2026-10-15
开发者 abhijithneil 主导的 PR 已合并进 vLLM-Metal，为 Apple Mac 用户带来 level 1 睡眠模式支持。核心问题：Mac 上统一内存架构下，LLM 服务器空闲时 KV cache 内存池仍被占用，16GB 的 Mac mini 一旦开视频项目就会 swap 变卡，此前只能杀进程重启或缩小内存预算。
新特性：
- 用 --enable-sleep-mode 启动引擎后，可调用 sleep()/wakeup()
- 空闲时释放 KV cache 所占内存（模型权重保持加载），下一次请求时在亚秒级恢复 cache
- KVCacheStorage 支持 release()/reallocate()，内存布局保持一致，调度器 block table 与 layer view 依然有效
- 同步丢弃 pending conv 和 recurrent state updates
适合在 Mac 上后台常驻小模型服务器的场景：白天写代码偶尔提问，空闲时把内存还给其他应用，来请求时无缝唤醒。
「Infra」频道最新
- TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力 — SergioPaniego · 2026-10-15
- JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍 — SNU-VLSI · 2026-10-15
- 189 组基准实测：16GB 显存跑 Qwen3 27B 的 KV 量化怎么选 — Fancy-Snow7 · 2026-10-15
- 22 天内：Anthropic 签 150 亿美元算力、xAI 上线 600 万条目维基替代品 — sierracatalina · 2026-10-15
- Titan RTX 加 3090 混合双卡跑推理，值不值得上 Strata？ — Express_Quail_1493 · 2026-10-15
- ASML 三季度卖出 17 台 EUV 光刻机，单价最高 4 亿美元 — NinaDSchick · 2026-10-15