vLLM 首日支持 Kimi K3.1：覆盖 NVIDIA、AMD、TPU 多平台

vllm_project · x · 2026-11-05

vLLM 项目宣布对 Kimi K3.1 提供发布首日（Day-0）支持，硬件覆盖 NVIDIA GPU（含下一代 Vera Rubin）、AMD Instinct MI355X、Google Cloud TPU，以及 Zhenwu 810e/M890。

同时提供三套开箱即用的镜像：NVIDIA CUDA 13.0 与 13.4 版、AMD ROCm 版。该项目与 Moonshot AI、Inferact 及 vLLM 社区共同构建，还包含 Day-0 的 RL 支持（vLLM + Megatron），Inferact 贡献了 Kimi Delta Attention 的训练-推理一致性以及长时运行 agent 所需的 cache/状态管理——从推理服务到继续训练，开源栈已就绪。