三台机器跑本地 LLM 失控:多机 GPU/显存管理怎么搞
pipecanon · reddit · 2026-11-06
一位 homelab 玩家自述:三台机器混插不同显卡、外加一台笔记本,各自跑独立的模型 runner,查显存得逐台 SSH,经常发现不知何时加载的奇怪量化模型。他提到 gpustack 可以跨节点集中部署和提供模型服务,但不会把物理显存合并成一个大池(跨节点仍有硬件约束),并犹豫 homelab 是否需要这么重的方案。
帖子抛出的实用问题:
- 大家是跑一台中央服务器,还是各机独立 runner?
- 部署时如何精确计算权重、KV cache 和加载过程所需的 RAM/VRAM?
- 逐台 SSH 是不是 homelab 最诚实的答案?
「Infra」频道最新
- AI 是大宗商品生意:Crucible 创始人把前沿实验室比作炼油厂 — AccBalanced · 2026-11-06
- 马斯克称 Terafab 进展飞快，Tesla 自研芯片工厂日夜赶工 — elonmusk · 2026-11-06
- 孙正义选定马来西亚布局 500 亿美元科技投资押注 AI 基建 — basedjensen · 2026-11-06
- 为什么没有面向 256GB 内存的高精度编码剪枝版 DeepSeek 和 GLM？ — evrenozkan · 2026-11-06
- 数据中心资本开支大举外流马来西亚,转推引热议 — basedjensen · 2026-11-06
- 传 ING 出售 5 亿美元数据中心贷款组合，据彭博报道 — apples_jimmy · 2026-11-06