NVIDIA 实测:两台 DGX Station 用 vLLM 跑 753B 的 GLM-5.3
NVIDIA Developer · youtube · 2026-11-14
NVIDIA 发布教程:当单 GPU 装不下模型时如何本地部署超大 MoE 模型。GLM-5.3 是 7530 亿参数的 MoE 模型,其 NVFP4 checkpoint 约 464 GB,超过单台 GB300 GPU 的 252 GB 显存。
做法与验证流程:
- 用 ConnectX-8 将两台 DGX Station 直连,通过张量并行把模型拆到两台机器的 GPU 上,所有权重常驻显存、无 CPU offload
- 配置 RDMA 连接:收集网络参数、下载固定版本 checkpoint 并复制到第二台机器、两机运行同一 vLLM 脚本
- 验证手段:API 健康检查、RDMA 检查(确认 GPU 走网络直通而非回退 TCP)、nvidia-smi 确认每 GPU 一个 vLLM worker
- 用 NVIDIA AIPerf + SPEED-Bench Coding 提示词压测并发 1/8/16/32 下的单用户吞吐与延迟
适用场景:处理敏感数据、本地原型化 agent、无按 token 计费的提示词迭代。配套 playbook 与技术博客给出了全部命令。
「Infra」频道最新
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22