NVIDIA 实测:两台 DGX Station 用 vLLM 跑 753B 的 GLM-5.3

NVIDIA Developer · youtube · 2026-11-14

NVIDIA 发布教程:当单 GPU 装不下模型时如何本地部署超大 MoE 模型。GLM-5.3 是 7530 亿参数的 MoE 模型,其 NVFP4 checkpoint 约 464 GB,超过单台 GB300 GPU 的 252 GB 显存。

做法与验证流程:

适用场景:处理敏感数据、本地原型化 agent、无按 token 计费的提示词迭代。配套 playbook 与技术博客给出了全部命令。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →