SGLang 生态昼夜接力，Kimi K3 开源首日推理破 423 tok/s
songhan_mit · x · 2026-07-30
开源推理框架 SGLang 在 Kimi K3 发布首日即实现了高达 423 tok/s 的推理速度（基于 GSM8K 测试），并已原生支持强化学习。
这背后是开源社区与多家科技巨头的极限接力：NVIDIA 与 AMD 投入底层算子优化，KVCache 推动多硬件适配与架构分离；Modal、Baseten、DigitalOcean 等云厂商也深度参与联合开发、测试反馈与算力保障。
SGLang 团队通过深度融合 KDA 解码算子、DP 注意力机制、PD 分离以及感知 KDA 的前缀缓存等深度优化，让这个当前最大的开源模型实现了惊人的生产级推理效率。
所属事件:Moonshot发布2.8T开源Kimi K3，首日推理破423 tok/s(7 条相关)→
「Infra」频道最新
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Beam 架构拆解:52 层 MoE 每_token_激活 8/256 专家 — vllm_project · 2026-10-16
- Reflection 发布 501B MoE 模型 Beam,vLLM 首日即支持 — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16