开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占

Distinct-Pie2389 · reddit · 2026-11-19

开发者发布副业项目 berth,一个轻量级 GPU 资源管理器,解决本地跑 LLM、图像生成、语音克隆等多任务争抢显存的问题。

主要功能:在系统内存中停驻(parking)推理引擎、基于 CUDA checkpoint 的停驻、优先级映射、调度、出借部分显存池、通过 VFIO 直通出租整块 GPU;即使只跑单一引擎,berth 也保证其显存不被 node、残留或孤儿进程侵占。作者的目标是在驱动层面解决显存问题,同时保持轻量与耐用。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →