vLLM 适配 Rubin 双芯：权重分片就近绑定两颗 die 的本地算力
anbarth · x · 2026-11-03
CUDA 13.4 下，vLLM 用 GreenContext(smpartition=partition) 控制 kernel 在哪颗 compute die 上运行，用 LocalizedAllocator 控制内存在哪颗 die 侧分配，实现「权重与其读取算力同址」。
背景是 Rubin 把两颗 compute die 封装进一颗 GPU，模型虽放得下，但跨 die bridge 读取有代价。vLLM 的可选 MoE 路径把权重分片与两颗 die 上的本地算力配对，只用一颗 die 会让另一颗的核心闲置。
作者给出了 vLLM 仓库 localization.py 的实际代码链接。
所属事件:vLLM 适配 Rubin 双芯架构:权重分片就近绑定本地算力(3 条相关)→
「Infra」频道最新
- Pinokio 推出 Remote：给本地 AI 一键装机的工具补上远程访问能力 — cocktailpeanut · 2026-11-03
- 谷歌财报：营收利润双涨股价却暴跌 10%，市值蒸发 5000 亿美元 — FuSheng_0306 · 2026-11-03
- CI 从 40 分钟提速到 2 分钟，Boardy 分享 20 倍加速实操清单 — garrytan · 2026-11-03
- Applied Compute 18 个月做到 1 亿美元年化，再融 3.5 亿美元 — ypatil125 · 2026-11-03
- Baseten 案例揭秘:Mirendil 用 40 秒权重同步跑前沿 RL,吞吐提升 1.9 倍 — baseten · 2026-11-03
- Altman 在 ADIPEC 谈 AI 瓶颈:原子还是原子,能源是最大挑战 — rohanpaul_ai · 2026-11-03