vLLM Mac 端新增睡眠模式：空闲时归还 KV cache 内存
abhijithneil · x · 2026-10-21
作者 Abhigith Neil Abraham 宣布为 vLLM 的 Apple Metal 后端贡献了 sleep mode 功能，相关教程已登上 vLLM Metal 官网 Latest News。
解决的问题：Mac 用户常驻一个小模型服务器，空闲时 KV cache 内存池仍被占用。Apple Silicon 统一内存架构下 GPU 与 CPU 共享内存，模型服务会让其他应用（如视频剪辑）陷入 swap 卡顿。此前只有两个选择：关掉服务器稍后重启，或用更小的内存预算启动。
做法：用 --enable-sleep-mode 启动引擎后，可调用 sleep() 在空闲时把权重之外的 KV cache 内存归还系统，wakeup() 在下次请求到来时亚秒级重新取回内存。文中解释了 vLLM 的 KV cache 按 block 分池管理、空闲时只剩下无用的 prefix cache 等原理细节。
「编程与Agent」频道最新
- Compaction hooks 实战:保留末尾消息原文+摘要压缩,实现 agent 记忆连续性 — MoonL88537 · 2026-10-21
- 「空白输入框的隐性成本」：当操作负担经由语言重新回到用户身上 — _AustinCalvert_ · 2026-10-21
- DeepMind 论文：自进化 Agent 学新任务最快，忘掉旧知识也最多 — rohanpaul_ai · 2026-10-21
- arXiv 原文:《自进化 Agent 是持续学习者吗?》——可塑性代价是稳定性 — rohanpaul_ai · 2026-10-21
- PM OS、Team OS、Company OS:三层 AI 工作系统怎么搭、先搭哪个 — aakashgupta · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21