用 Rust 让模型睡眠，单机省下近 80GB 空闲显存
ahstanin · reddit · 2026-09-12
作者在单工作站上跑多模态 agent 栈（Qwen3.8-27B 做 LLM + Nemotron STT + Chatterbox TTS + OCR），所有运行时同时常驻显存，空闲占用高达约 122GB——主因是 SGLang 等运行时会静态预留大量 KV pool（常达 85% 可用显存），辅助模型也带着满额 scratch buffer。
关键观察是：个人 agent 一次只需要部分模型在线——语音对话用 STT+TTS 不用 OCR；读文档用 OCR+LLM；跑长脚本时 LLM 都可以闲置。于是作者写了一个小型 Rust 控制器，在模型轮次结束时将其「睡眠」：清空执行缓冲和 KV pool，但保留进程和基座权重的内存映射，避免冷重启。
- 睡眠后各模型显存：LLM 从 87,443 MiB 降到 39,092 MiB（即 27B FP8 权重的真实开销）；STT 降到 267 MiB；TTS 降到 3,127 MiB；OCR 降到 422 MiB
- 共回收 79,459 MiB（近 80GB）空闲显存
- 唤醒时间全部低于 200ms——因为不读盘、不重建计算图，切换延迟在实际使用中无感
作者最后在社区征集：想同时获得即时语音/工具响应又不想买第二块 GPU 时，大家如何处理多模型显存分配？
所属事件:Rust 动态休眠让单机多模型显存占用从 122GB 降至 43GB(3 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28