开源工具 Berth 让 24GB 显存自动在多个 AI 引擎间轮流交接
Distinct-Pie2389 · reddit · 2026-10-20
Reddit 用户开发的开源系统服务 Berth(GitHub)解决了单卡 24GB 显存不够用的问题:不用手动切换或 cron 任务,由它自动监控 GPU,按优先级排队、在引擎边界安全卸载当前占用者、等驱动确认显存空闲后再授予租约、启动下一个引擎。
- 作者日常在 RTX 4090 上轮流跑 llama-swap(NInfer-4090)、strata、ComfyUI、OpenWebUI,解决 orphan node 进程和 ComfyUI 残留占 500MB 显存等日常痛点
- 配图展示完整流程:聊天应用/ComfyUI/游戏等发起请求 → berthd 守护进程按 hold > foreground > interactive > batch 排队 → 单一持有者独占显存,避免碰撞
- Berth 还能把各引擎封装成统一 API 端点,夜间跑 Hermes 模型、白天玩游戏时收回显卡,全程有日志可查
所属事件:开源工具 Berth 实现单卡显存在多 AI 引擎与游戏间自动错峰调度(2 条相关)→
「Infra」频道最新
- 铜通孔内嵌金刚石提升导热,碳基芯片散热新思路亮相 — jwt0625 · 2026-10-20
- Physis 发布世界基础模型公司并推出推理系统 PhysisServe，将并入 vLLM-Omni — vllm_project · 2026-10-20
- 巴塞罗那超算中心 AI Factory 加速器选出三家 AI Champions — NVIDIA Blog · 2026-10-20
- Luma 发布 MARBLE:打包多模态序列的精确序列并行,48 项测试胜 47 项 — mrjonfinger · 2026-10-20
- 双 R9700 按层拆分跑大模型:单卡负载降至 50% 风扇静音 — yahbluez · 2026-10-20
- PyTorch 大会将展示 KV 缓存跨层调度：CPU 还是共享存储更划算 — PyTorch · 2026-10-20