SGLang day-0 支持 Kimi K3.1 Pro,GB300 单卡高并发 31K tok/s
ying11231 · x · 2026-11-06
SGLang 团队联合 radixark、NVIDIA、AMD、Moonshot 与 SemiAnalysis 完成 Kimi K3.1 Pro 的 day-0 推理支持，并发布部署文档与 Cookbook 配方。
关键信息：
- Kimi K3.1 Pro 共 2.8T 参数（104B 激活），支持 1M 上下文。
- 在 GB300 NVL72 上：低并发下每用户 420+ tok/s，高并发下单 GPU 31K+ tok/s。
- B300、GB200 NVL72、B200 和 AMD MI355X 的性能曲线均 day-0 提供。
- SemiAnalysis 特别指出团队开箱即用地支持了 megakernel。
- 硬件覆盖 Vera Rubin、Blackwell、Hopper、AMD Instinct、PPU 及 Google TPU，部署走 SGLang 的 kimi-k3.1-day-0 分支与专用 Docker 镜像。
所属事件:vLLM 与 SGLang 双栈为 Kimi K3.1 提供 Day-0 支持(10 条相关)→
「Infra」频道最新
- Muon 优化器后训练开销实测：SFT 场景 FLOPs 最多增加 54% — kastnerkyle · 2026-11-06
- 美光暴跌 17% 后被指超跌：10-K 仍显示 1340 亿美元订单储备 — tengyanAI · 2026-11-06
- Vivek Wadhwa：豪掷万亿建数据中心是科技巨头的致命误判 — sanjaykalra · 2026-11-06
- 千元内 20GB+ 显存仅剩 AMD:7900 XT/XTX 跑视频生成还靠谱吗 — Beneficial_Fish_7509 · 2026-11-06
- 开源项目 NVKE:把 NVIDIA GPU 集群打包成 Kubernetes 引擎 — gkapur · 2026-11-06
- 蓝色起源发布 Northstar 发动机：推力 71.5 万磅，比 BE-4 轻 30% — beffjezos · 2026-11-06