SGLang 为 Kimi K3 上线 day-0 支持并称达 423 tok/s
BanghuaZ · x · 2026-07-28
SGLang 宣布已对 Kimi K3 做到 day-0 支持，并称在 GSM8K 上测得速度达到 423 tok/s，RL 支持也已就绪。
- K3 被描述为一款 2.8T 参数 的开源模型，拥有 1M 上下文。
- SGLang 表示，他们针对 K3 的新架构做了原生实现和深度优化，包括 KDA decode kernels、DP attention、DSpark、PD disagg 和 KDA-aware prefix caching。
- 团队称已通过 Kimi Vendor Verifier，可用于生产。
- 支持硬件覆盖 NVIDIA GB300/B300/B200/H200/H20、AMD MI350X/MI355X 等平台。
- 这次发布视频本身也是由 K3 生成，还做成了可玩的小游戏。
所属事件:Kimi K3接入SGLang实现423 tok/s高吞吐(4 条相关)→
「Infra」频道最新
- Macrocosmos 启动三大洲分布式的 160 亿参数训练 — markjeffrey · 2026-07-28
- 优化 K8s 资源配置，Whisper 工作流提速 9 倍 — anacondainc · 2026-07-28
- Celestica AI 服务器毛利率三季降至 10.8% — tengyanAI · 2026-07-28
- 线性注意力混合架构需要更细粒度缓存来应对长提示词 — stochasticchasm · 2026-07-28
- 研究型 agent 横评 8 个股票数据 MCP，Equibles 排第一 — DanielAPO · 2026-07-28
- EUV 光刻底层材料电子效应加剧随机缺陷风险 — CatAstro_Piyush · 2026-07-28