Kimi K3开源首日获vLLM及AMD等多平台支持
Moonshot AI 开源了 2.8 万亿参数的混合专家模型 Kimi K3，vLLM 在发布首日即提供生产级推理支持，最低仅需 8 张 B300 显卡即可运行完整模型，并原生支持 AMD ROCm 生态。模型已上线 DigitalOcean、Modal、Baseten 等云平台，开发者可快速部署生产级 API。此举大幅降低了超大规模开源模型的部署门槛，并打破了单一硬件生态的限制。
已确认
- 模型架构：Kimi K3 总参数量 2.8 万亿，采用 MoE 架构，每 Token 激活 16 个专家，支持 100 万 Token 上下文窗口和原生视觉能力。
- 硬件部署：vLLM 确认跑起该模型最低只需 8 张 B300 显卡，并适配英伟达 Grace Blackwell、Blackwell、Hopper 和 NVL72 等多代系统，集成 Dynamo 保障高效运行。
- AMD 生态支持：vLLM 原生支持 AMD ROCm，完整模型可在 Instinct 系列硬件上部署。AMD 高管 Anush Elangovan 确认通过合作在 Day 0 支持了 Kimi K3 及 MI355X 等硬件，并强调“速度就是护城河”。
- 云平台部署：Kimi K3 已上线 DigitalOcean、Modal 和 Baseten 平台，由 vLLM 提供底层推理服务，开发者可快速部署生产级 API 端点。
- 推理性能：TensorWave 指出，通过 AMD 生态适配，RadixArk 的 DSPARK 运行该模型实现了 423 TPS 的吞吐量。
为什么重要
- 降低部署门槛：2.8 万亿参数模型对显存要求极高，vLLM 的高效支持使仅需 8 张 B300 即可运行，极大降低了超大规模模型的算力成本。
- 打破硬件垄断：首日原生支持 AMD ROCm 生态，为开发者提供了 NVIDIA 之外的强力替代方案，加速了 AI 推理硬件生态的多元化。
2026-07-30 ~ 2026-07-31 · 14 条相关
- 第 1 集:vLLM 为 Moonshot Kimi K3 提供 Day-0 支持(2026-07-27,11 条)
- 第 2 集:Fireworks 平台上线 Kimi K3 推理与多维微调功能(2026-07-28,2 条)
- 第 3 集:Kimi K3 2.8T参数模型在80张RTX 5090上零HBM运行(2026-07-28,8 条)
- 第 4 集:Kimi K3 开放权重发布，引爆开源与基础设施讨论(2026-07-28,5 条)
- 第 5 集:算力账本：Kimi K3 自托管百天内回本(2026-07-28,4 条)
- 第 6 集:极客尝试在 Mac 设备本地量化运行 K3 大模型(2026-07-29,2 条)
- 第 7 集:Kimi K3 开源 2.8 万亿参数推高算力门槛(2026-07-29,3 条)
- 第 8 集:vLLM 借助 DSpark 在 4 台 GB300 跑出 Kimi K3 新高(2026-07-29,2 条)
- 第 9 集:Kimi K3开源首日获vLLM及AMD等多平台支持(2026-07-30,14 条)
一手来源
- Kimi K3 首日原生支持 vLLM 与 AMD，2.8T 参数可跑在 Instinct — vllm_project ·
- vLLM 实现 Kimi K3 Day 0 支持，8 张 B300 即可跑起 2.8T MoE — vllm_project ·
- AMD MI355X 实现 Kimi K3 Day 0 支持，加速 AI 生态布局 — AnushElangovan ·
- 【源头】Kimi K3 首日原生支持 vLLM 与 AMD，2.8T 参数可跑在 Instinct — vllm_project · 2026-07-30
- vLLM 实现 Kimi K3 首日支持：2.8T 参数模型部署实战 — vllm_project · 2026-07-30
- Kimi K3登陆DigitalOcean，vLLM助力2.8T大模型高效推理 — vllm_project · 2026-07-30
- 【源头】AMD MI355X 实现 Kimi K3 Day 0 支持，加速 AI 生态布局 — AnushElangovan · 2026-07-30
- vLLM 第一时间支持 Kimi K3，全面适配英伟达多代算力架构 — vllm_project · 2026-07-30
- vLLM 联手 Modal 实现 Kimi K3 首日支持部署 — vllm_project · 2026-07-30
- vLLM 发布 Kimi K3 部署指南：支持 B300 与 MI355X — vllm_project · 2026-07-30
- vLLM 联合 Baseten 上线 Kimi K3 生产级 API — vllm_project · 2026-07-30
- Kimi K3 上线即支持 AMD 平台，vLLM 实现 Day 0 推理 — vllm_project · 2026-07-30
- vLLM 联合 DigitalOcean 详解 Kimi K3 零日推理部署方案 — vllm_project · 2026-07-31
- Kimi K3 开源模型登陆 AMD 生态，RadixArk 实现 423 TPS — BanghuaZ · 2026-07-31
另有 3 条近重复转述:vllm_project · vllm_project · vllm_project