NVIDIA Dynamo 文档新增 Kimi-K3 的 GB200/GB300 部署方案
woosuk_k · x · 2026-07-29
NVIDIA 的 Dynamo 文档新增了 Kimi-K3 的部署指南。
页面说明可在 GB200 / GB300 上用 Dynamo + vLLM 部署 Kimi-K3，支持聚合式或 prefill/decode 解耦 的拓扑。文档还提到，这个模型是一个多模态 MoE，支持 最高 100 万 token 上下文，并使用 KV-aware routing、MXFP4 路由专家、FP8 KV cache，以及在 NVL72 机柜上通过 NVLink 做传输和张量并行。
「Infra」频道最新
- SK hynix 日内巨震，HBM 盈利能力继续上行 — basedjensen · 2026-07-29
- WeCommerce 用 Weaviate 做氛围搜索，商品不靠关键词也能找 — victorialslocum · 2026-07-29
- UltraEP 把 MoE 实时均衡带进小红书机架级推理栈 — 机器之心 · 2026-07-29
- Cloudera 称 45% 医疗机构仍拿不到 AI 所需全部数据 — DavidLinthicum · 2026-07-29
- 用 grammar 约束，本地模型终于不再把 JSON 写坏 — paulqq · 2026-07-29
- 100MW AI 数据中心在英国比美国少值近 20% — ShakeelHashim · 2026-07-29