vLLM 适配 Rubin 双芯架构:权重分片就近绑定本地算力

NVIDIA Vera Rubin 将两颗 compute die 封装进单颗 GPU,并提供 19.2 TB/s 的 HBM4 带宽与 3 TB/s 的 NVLink 互联。开发者 anbarth 整理了 NVL72 系统的关键规格,并展示如何在 CUDA 13.4 下让 vLLM 利用 GreenContext 进行分区调度:通过权重分片将计算就近绑定到各 die 的本地算力,避免跨 die bridge 读取带来的性能损失——若只跑一颗 die,会浪费一半核心。

2026-11-03 ~ 2026-11-03 · 3 条相关

• Rubin 单封装塞两颗 compute die，只跑一颗就浪费一半核心 — anbarth · 2026-11-03
• vLLM 适配 Rubin 双芯：权重分片就近绑定两颗 die 的本地算力 — anbarth · 2026-11-03
• Vera Rubin 每块 Rubin GPU:HBM4 19.2TB/s、NVLink 3TB/s,CUDA 13.4 配合 vLLM 可分区调度 — anbarth · 2026-11-03