vLLM 官宣支持 Kimi K3 部署，需至少 8 张 GB300
vllm_project · x · 2026-08-07
vLLM 宣布已通过 Moonshot 官方验证，可提供高性能的 Kimi K3 模型推理服务。
模型与部署细节：
- 架构：Kimi K3 为 2.8 万亿参数的原生多模态 MoE 模型，每 token 激活 16 个专家（共 896 个）。采用了 Kimi Delta Attention (KDA)、Attention Residuals (AttnRes) 技术，支持 100 万 token 上下文及原生视觉。
- 硬件要求：生产环境至少需要 8 张 GB300（多节点）或 8 张 MI355X/MI350X（ROCm）。
- 环境配置：提供专用 Docker 镜像，要求 CUDA 13 (cu130) 环境与 r580+ 英伟达驱动。
- 推理优化：支持 TP8、TEP16 等并行策略，跨节点通信推荐使用 deepepv2 后端。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16