开源工具 Berth：让多个 AI 引擎分时共享一张 GPU 互不打架
Distinct-Pie2389 · reddit · 2026-10-27
Reddit 用户发布的开源项目 Berth 已获 223 stars，核心能力是在驱动层面管理单张 GPU，让多个 AI 推理引擎分时共享同一张卡：
- 排队与优先级：llama.cpp、Ollama、vLLM、SGLang、ComfyUI、LM Studio 等引擎按前台/交互/批处理优先级轮流上卡，确保上一个引擎显存释放后下一个才加载，避免两个模型叠加载爆显存。
- 统一入口：一个 OpenAI 兼容端口，指定模型名即自动启动对应引擎并代理请求；ComfyUI 在渲染任务之间交接显卡，不会打断进行中的渲染；可卸载到 RAM 的引擎会「停靠」在内存里，ComfyUI 停靠耗时不到 1 秒。
- 游戏与创作软件共存：玩游戏时自动让出显卡，支持 Steam/Epic/GOG 等平台；Blender、Resolve、OBS、Premiere 的显存占用会被标记而非强占。
- 模型库与可观测性：支持从 Hugging Face/CivitAI 拉模型（断点续传+哈希校验）、本地 Web 面板、Prometheus 指标，还有一个 agent skill 教 Claude Code、Codex 等向 Berth 申请显卡而不是互相争抢。
平台支持：Linux + NVIDIA 为正式支持，Windows 为实验性（CI 全量测试），AMD Linux 实验性；多卡可用多守护进程。实测 RTX 4090 上 21GB 模型 5.6 秒加载，ComfyUI 切换到 27B 模型耗时 13.6-16.3 秒；五卡机上语音助手从大 MoE 服务器借 6.6GiB 显存时，token 间最长停顿仅 0.38 秒。
「编程与Agent」频道最新
- 让个人 Agent 先解释调用动机：把后台黑盒操作可视化 — _AustinCalvert_ · 2026-10-27
- 一条提示词替代六位数分析师：每周自动监控竞对五类动态 — alex_verem · 2026-10-27
- Seroter 阅读清单:AI 编码工作流、subagent 取舍与 AI 零财务回报论 — rseroter · 2026-10-27
- 开发者分享项目一页纸模板：九个字段说清目标与边界 — dSebastien · 2026-10-27
- Marketstack 推出 MCP Server，AI 助手可直查股市行情数据 — modelcontextprotocol · 2026-10-27
- DMARKOFF MCP 连接器上线，让 AI 助手分析 DMARC 邮件安全数据 — modelcontextprotocol · 2026-10-27