单卡多引擎不再爆显存:开源工具 Berth 给 GPU 加 VRAM 租约调度
Distinct-Pie2389 · reddit · 2026-10-12
Reddit 用户 Distinct-Pie2389 发布开源工具 Berth,解决单张 RTX 4090 上同时跑 llama-swap、llama.cpp、Ollama、ComfyUI 等多个引擎时的 CUDA 显存冲突问题。工作方式:各引擎通过 berth run 启动并向守护进程排队;高优先级引擎需要 GPU 时,Berth 依次尝试 llama-swap 的 unload URL、SIGTERM、SIGKILL 让当前占用者卸载,并用 nvidia-smi 确认显存真正释放后才交接(进程退出后仍可能占住 VRAM,Berth 会等驱动)。限制:仅 Linux + NVIDIA,单卡单守护进程;仪表盘无鉴权,需留在 loopback 或 Tailscale 后。已实测 llama-swap/llama.cpp/Ollama/ComfyUI,兼容 vLLM、SGLang、LM Studio、TabbyAPI、LocalAI 的 API 读取则仅按文档测试。
「编程与Agent」频道最新
- 逆向工程泄露 Grok Bot 三项未发布功能,版本化记忆有望上线 — bfrench · 2026-10-12
- badlogic 实测 durable codemode:让 agent 中断后也能续跑长任务 — max_paperclips · 2026-10-12
- supermemory 把 Agent 上下文打包成一个 API:记忆检索全内置 — julianweisser · 2026-10-12
- Infor 携 AWS 详解企业 Agent 技术栈:Claude 做监督模型 — shashib · 2026-10-12
- FinSentry 演示:AI 建议不等于审批,支付调查需三道控制 — Proper-Spread-35 · 2026-10-12
- 带女儿用 Codex 开发 ModRetro 掌机游戏，AI 给出五条设计建议 — petergyang · 2026-10-12