开源 Berth 用租约队列调度单卡 GPU,llama.cpp 与 ComfyUI 秒级热切换
Distinct-Pie2389 · reddit · 2026-11-02
开发者发布 Go 编写的轻量 GPU 资源管理器 Berth(alpha v0.4.1,单二进制、无云依赖,支持 Linux NVIDIA,实验性支持 AMD/Windows),通过租约、优先级和请求队列管理 GPU 访问,避免应用争抢显存。
主要功能:
- 共享与调度:让本地 LLM、图像生成、语音、游戏共享同一块卡;按优先级排队,切换前等待当前任务完成并释放显存。
- 快速切换:可将支持的引擎驻留系统内存或用 CUDA checkpoint,避免重复从磁盘加载大模型。
- 监控与模型管理:追踪显存/温度/功耗/进程;发现并管理 GGUF、Hugging Face、LM Studio、Ollama 等目录中的模型。
- 统一网关:OpenAI 兼容 API 启动/切换引擎,支持 ComfyUI 工作流;提供 Web 仪表盘看实时租约与历史数据。
- Agent 集成:内置 Claude Code、Codex、OpenCode 等工具的 skills,让 agent 直接管理 GPU 负载;支持 VFIO 虚拟机直通与多卡独立管理。
配图展示了工作原理:请求经网关排队,当前引擎在任务边界排空、驱动确认显存空闲后才授予租约,图表显示一晚内 llama-swap、游戏、VM、ComfyUI 在 24GB 卡上轮流接管。
「编程与Agent」频道最新
- 让 Claude 无限循环自主运行,觉得酷就主动展示 — jaivin · 2026-11-02
- 开发者吐槽 Claude Code 等工具权限弹窗泛滥失控 — signulll · 2026-11-02
- 12 年前 5 美元时薪的建站需求，如今 AI 能不能搞定？ — kingslyj · 2026-11-02
- vibe coding 正在制造无人能维护的生产服务，工程师给出四条解法 — arpit_bhayani · 2026-11-02
- AI 编程让改 UI 变得太容易,是时候重估对烂设计的容忍度 — adam_dorr · 2026-11-02
- TRAE 个人助理限免一周,实测编程 PA 时代来了 — vista8 · 2026-11-02