本地 Agent 四模型常驻吃掉 122GB 显存，动态休眠降到 43GB
ahstanin · reddit · 2026-09-12
作者为本地语音+屏幕+工具型 agent 配了四个模型：Qwen3.8-27B(规划/工具调用)、Nemotron(语音输入)、Chatterbox(语音输出)、Unlimited-OCR(屏幕/图像读取)，全部常驻 VRAM 导致空闲就占 122GB。关键洞察是 agent 循环是回合制串行的：语音交互时 OCR 不需要显存，LLM 等脚本执行时也可以释放资源。
他用 Rust 写了个守护进程控制各组件休眠：LLM 空闲占用从 87GB 降到 39GB，STT 从 10GB 降到 267MiB，TTS 从 18GB 降到 3GB，OCR 降到 422MiB，总空闲显存从 122.3GB 降到 42.9GB。做法是释放 scratch/KV 分配而非冷重启，唤醒延迟全模型低于 200ms，语音对话不卡顿。单机跑 4+ 模型的本地 agent 因此完全可行。
所属事件:Rust 动态休眠让单机多模型显存占用从 122GB 降至 43GB(3 条相关)→
「编程与Agent」频道最新
- 五支独立队伍同用 Grok Bot,72 小时极限创业对照实验将开赛 — tallmetommy · 2026-09-12
- Webhook 幂等处理六步清单:重试正常,重复执行才是 bug — blaizedsouza · 2026-09-12
- Arcee 开源 NAC 长任务 agent 框架，实测 DeepSeek 模型 489 次工具调用 — MaziyarPanahi · 2026-09-12
- 腾讯开源 Agent 沙箱 CubeSandbox v0.7:冷启动 60ms,支持跨节点暂停恢复 — dr_cintas · 2026-09-12
- DeepSeek 工具调用回归:489 次调用 56 分钟跑通 67 项 LIGO 数据测试 — MaziyarPanahi · 2026-09-12
- macOS Agent 终端 Infinitty Pro 发布:49 美元买断,24 小时早鸟 — jasonkneen · 2026-09-12