vLLM 上线 Kimi K3 Day-0 支持，8 张 B300 即可跑满 2.8T MoE

vllm_project · x · 2026-07-30

vLLM 官方宣布为 Moonshot AI 开源的 Kimi K3 模型提供高效的 Day-0 生产级支持。Kimi K3 是一个拥有 2.8 万亿参数的混合专家模型，每次推理激活 16 个专家，具备 100 万 token 上下文窗口和原生视觉能力。

文章提供了详细的部署指南，指出运行该模型最简单的方法是使用 8 张 NVIDIA B300 GPU 或 8 张 AMD MI355X GPU。此外，Inferact 还专门训练并开源了用于 Kimi K3 的 DSpark 推测解码器，通过添加特定参数即可开启以提升推理速度。目前，Baseten 已结合 vLLM 推出了无需用户自行管理基础设施的快速 API 服务。