SGLang 首发支持 Kimi K3，推理速度飙至 423 tok/s
ying11231 · x · 2026-07-28
LMSYS Org 的 SGLang 团队宣布以 Day-0 级别支持最新开源模型 Kimi K3。通过深度融合优化 K3 的新架构（包括 KDA 解码内核、DP attention、PD 分离和 KDA 感知的前缀缓存），在 GSM8K 基准测试中实现了高达 423 tok/s 的惊人推理速度，并已通过 Kimi 官方验证达到生产级可用状态。
所属事件:Kimi K3接入SGLang实现423 tok/s高吞吐(4 条相关)→
「Infra」频道最新
- 研究型 agent 横评 8 个股票数据 MCP，Equibles 排第一 — DanielAPO · 2026-07-28
- Kimi K3 在 Together AI 上线，首日就给出数亿级 TPM 容量 — togethercompute · 2026-07-28
- EUV 光刻底层材料电子效应加剧随机缺陷风险 — CatAstro_Piyush · 2026-07-28
- Kimi K3 报告披露 microVM 沙箱系统，专为 Agent RL 设计 — stochasticchasm · 2026-07-28
- vLLM 推出 Kimi K3 部署指南，适配 2.8T MoE 和百万上下文 — AccBalanced · 2026-07-28
- SkyPilot 称，部署 Kimi K3 需要多节点推理和完整服务栈 — skypilot_org · 2026-07-28