NVIDIA 发布指南:双 DGX Station 本地部署 GLM-5.3
vllm_project · x · 2026-11-17
vLLM 官方转发 NVIDIA 制作的 GLM-5.3 本地部署视频演示与指南:在两台 DGX Station 上用 vLLM 运行 NVFP4 版模型。方案要点:
- 全部模型权重驻留 GPU 显存,跨两块 GB300 GPU 做张量并行
- 通过单一 OpenAI 兼容 API 提供服务
- 启用 MTP 投机解码、FP8 KV cache 与前缀缓存
「Infra」频道最新
- Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏 — simran_s_arora · 2026-11-17
- Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98% — simran_s_arora · 2026-11-17
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- ARK 报告:黄仁勋卸任英伟达 CEO,供应链与生态或受冲击 — downingARK · 2026-11-17
- 拆解 Nvidia 循环融资:1700 亿美元销售额仅 350 亿资金未落定 — tengyanAI · 2026-11-17
- NVIDIA 发布 DGX Spark 四节点开发套件:桌面上跑 700B 参数模型 — NVIDIA Blog · 2026-11-17