本地 Agent 四模型常驻吃掉 122GB 显存，动态休眠降到 43GB

ahstanin · reddit · 2026-09-12

作者为本地语音+屏幕+工具型 agent 配了四个模型：Qwen3.8-27B(规划/工具调用)、Nemotron(语音输入)、Chatterbox(语音输出)、Unlimited-OCR(屏幕/图像读取)，全部常驻 VRAM 导致空闲就占 122GB。关键洞察是 agent 循环是回合制串行的：语音交互时 OCR 不需要显存，LLM 等脚本执行时也可以释放资源。

他用 Rust 写了个守护进程控制各组件休眠：LLM 空闲占用从 87GB 降到 39GB，STT 从 10GB 降到 267MiB，TTS 从 18GB 降到 3GB，OCR 降到 422MiB，总空闲显存从 122.3GB 降到 42.9GB。做法是释放 scratch/KV 分配而非冷重启，唤醒延迟全模型低于 200ms，语音对话不卡顿。单机跑 4+ 模型的本地 agent 因此完全可行。