GB300+RTX PRO 6000 专家 sidecar 方案跑出 5774 tok/s

natesiggard · x · 2026-10-09

实测将 DGX Station 的 GB300 与 RTX PRO 6000 组合成一套系统运行 DeepSeek 模型,达到 5774 tok/s。核心思路是把 MoE 的专家做「sidecar」分配:每层 384 个专家中,285 个最常用的常驻 GB300 的 HBM,其余 99 个放在 RTX PRO 6000 上就地计算,仅被路由到 sidecar 专家的 token 跨 PCIe 传输;若 6000 卡顿,GB300 可继续独立运行。功耗方面 GB300 峰值 970 W、6000 峰值 257 W,均在各自功率限制内。sidecar 设计源自 original-el8 的开源 GB300 研究,在公开 b12x 代码上运行、无未公开 kernel,并加入投机解码(DSpark)。