开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占
Distinct-Pie2389 · reddit · 2026-11-19
开发者发布副业项目 berth,一个轻量级 GPU 资源管理器,解决本地跑 LLM、图像生成、语音克隆等多任务争抢显存的问题。
主要功能:在系统内存中停驻(parking)推理引擎、基于 CUDA checkpoint 的停驻、优先级映射、调度、出借部分显存池、通过 VFIO 直通出租整块 GPU;即使只跑单一引擎,berth 也保证其显存不被 node、残留或孤儿进程侵占。作者的目标是在驱动层面解决显存问题,同时保持轻量与耐用。
「Infra」频道最新
- CoreWeave 更正债务利率为 15.5%,分析师追问 Blackwell 偿债方案 — Svwang1 · 2026-11-19
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- Salesforce 用 SageMaker 跨区域推理路由解决 30+ 区域容量碎片化 — AWS ML Blog · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19