两台 NVIDIA DGX 跑 vLLM,GLM-5.3 服务达 607.8 tok/s
wondersky · hn · 2026-11-14
NVIDIA 开发者博客介绍在两台 DGX 工作站上用 vLLM 多 GPU 服务 GLM-5.3 的实践,跨机聚合算力后达到 607.8 tok/s 的吞吐,展示单卡不够时的大模型本地服务方案。
「Infra」频道最新
- 在 16GB RX 9070 XT 上跑通 MiniMax H3，作者开源完整配置 — NigaTroubles · 2026-11-14
- 美联航 CEO：Starlink 机上 Wi-Fi 是公司百年最大竞争优势 — Aiden_Tech_Ai · 2026-11-14
- SemiAnalysis 称 Google TPU 夜间跑分已比肩 Nvidia,缺的是供应链手腕 — elonmusk · 2026-11-14
- 马斯克附和黄仁勋离任传闻：握手协议 deals 或将流失 — elonmusk · 2026-11-14
- 传黄仁勋离职后英伟达老员工或遭疯抢:多数已财务自由 — basedjensen · 2026-11-14
- 黄仁勋为 GPU 批次直电 TSMC 高层，网友热议组织转型隐忧 — IgorCarron · 2026-11-14