英伟达发布 PAIR:让家里多台电脑组成本地 AI 推理共享池
techNmak · x · 2026-09-05
英伟达推出 Personal AI Router(PAIR),一个本地推理路由器,可让同一局域网内的多台 PC/Mac 组成小型共享服务池:它自动发现参与机器、追踪各节点支持的引擎与模型,暴露 Ollama 兼容和 OpenAI 兼容端点,并根据可用性与当前负载把每个推理请求路由到合适的节点。
注意其边界:调度器目前主要结合排队任务和平滑后的 GPU 利用率信号,优先选择已有目标模型的节点;PAIR 不做显存合并、不跨机分片模型、也不拆分单个推理请求。适合想把家里闲置算力利用起来的本地部署玩家。
所属事件:NVIDIA 发布开源 PAIR:家庭设备组成本地推理集群(7 条相关)→
「Infra」频道最新
- PyTorch 官方详解 IBM Spyre 后端:KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21
- DeepSeek 开源 V4.1-Flash 背后的推理引擎 DeepInfer — The Decoder · 2026-10-21
- 机器人推理平台上线 Deployments:可云端部署 HF 微调模型 — arnie_hacker · 2026-10-21
- 路透:字节阿里腾讯下单超300万块英伟达RTX PRO 5500,总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示:vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21