Rust 动态休眠让单机多模型显存占用从 122GB 降至 43GB

Reddit 用户分享单机多模型服务的内存管理实践：本地多模态 agent 栈包含 Qwen3.8-27B（规划/工具调用）、Nemotron（语音输入）、Chatterbox（语音输出）及 OCR 模型，四模型常驻共占用约 122GB 显存。作者用 Rust 编写守护进程，让空闲模型动态休眠，显存占用降至约 43GB，省下近 79–80GB，且唤醒延迟低于 200 毫秒。

2026-09-12 ~ 2026-09-12 · 3 条相关

• 用 Rust 让模型睡眠，单机省下近 80GB 空闲显存 — ahstanin · 2026-09-12
• 本地 Agent 四模型常驻吃掉 122GB 显存，动态休眠降到 43GB — ahstanin · 2026-09-12
• 单机多模型服务:Rust 守护进程省回 79GB 显存,唤醒延迟低于 200ms — ahstanin · 2026-09-12