NVIDIA Dynamo 文档新增 Kimi-K3 的 GB200/GB300 部署方案
woosuk_k · x · 2026-07-29
NVIDIA 的 Dynamo 文档新增了 Kimi-K3 的部署指南。
页面说明可在 GB200 / GB300 上用 Dynamo + vLLM 部署 Kimi-K3，支持聚合式或 prefill/decode 解耦 的拓扑。文档还提到，这个模型是一个多模态 MoE，支持 最高 100 万 token 上下文，并使用 KV-aware routing、MXFP4 路由专家、FP8 KV cache，以及在 NVL72 机柜上通过 NVLink 做传输和张量并行。
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16