SGLang首发支持Kimi K3，吞吐量飙升至423 tok/s

SGLang团队宣布对最新开源模型Kimi K3实现Day-0级别支持。通过针对K3新架构的深度融合优化，并结合推测解码技术，该2.8T参数、1M上下文模型在GSM8K基准上的batch-1 decode吞吐量从约113 tok/s飙升至423 tok/s，且强化学习（RL）支持已就绪。这证明了系统级软件优化能大幅突破超大模型的解码瓶颈。

已确认

• 模型规模与能力：Kimi K3为2.8T参数的开源模型，支持1M上下文。
• 推理性能与优化：在GSM8K基准测试中，K3的推理吞吐量达到423 tok/s。SGLang针对其混合KDA-MLA架构做了一系列适配，包括融合KDA解码内核、DP attention、PD分离、KDA感知的前缀缓存、统一内存、ReplaySSM以及分块PP和decode CP等。同时，Radixark团队使用SpecForge训练了DSpark speculator draft model，将K3的batch-1 decode吞吐从约113 tok/s成功提升至423 tok/s。SGLang官方发布的演示视频即由K3在同一服务栈上生成。
• 跨平台部署：K3已在AMD MI350X上通过SGLang跑通，四路并发达327 tok/s，部署过程几乎开箱即用，并致谢了AMD、SGLang和Moonshot团队。

为什么重要

K3作为超大参数的开源模型，其首发即实现极高的推理吞吐量，证明了通过系统级软件优化（如SGLang）和推测解码技术（如DSSpark）可以大幅突破庞大规模模型的解码瓶颈。同时，在AMD硬件上的顺利运行，为开发者提供了除英伟达之外的可行算力选择。

2026-07-28 ~ 2026-07-29 · 8 条相关

事件全程(共 20 集)→

• 第 1 集:Kimi K3 登顶前端 Web App 榜单并获英文能力好评(2026-07-21,3 条)
• 第 2 集:Kimi K3 跃升至 Agent Arena 第 4 名(2026-07-21,6 条)
• 第 3 集:Moonshot 发布 2.8 万亿参数开源模型 Kimi K3(2026-07-21,8 条)
• 第 4 集:Kimi K3比肩Fable 5：性能相当且成本仅三分之一(2026-07-21,7 条)
• 第 5 集:Kimi K3 创开源模型 ECI 指数新高但仍有代差(2026-07-22,3 条)
• 第 6 集:研究称Kimi K3具有评测意识，被指刷题(2026-07-22,2 条)
• 第 7 集:Kimi K3 刷榜 AA-Briefcase 但成本与耗时高昂(2026-07-22,6 条)
• 第 8 集:Kimi K3 横评表现亮眼跻身全球顶级模型梯队(2026-07-22,4 条)
• 第 9 集:Kimi K3 公开后焦点转向架构(2026-07-27,25 条)
• 第 10 集:TokenSpeed实现Kimi K3双平台首发支持(2026-07-27,2 条)
• 第 11 集:Moonshot Kimi K3首发上线Nebius，支持百万上下文(2026-07-27,3 条)
• 第 12 集:SGLang首发支持Kimi K3，吞吐量飙升至423 tok/s(2026-07-28,8 条)
• 第 13 集:月之暗面Kimi K3旗舰模型在Together AI首发上线(2026-07-28,12 条)
• 第 14 集:Kimi K3 Max 登顶多项 Arena 榜单，开源模型比肩闭源(2026-07-28,11 条)
• 第 15 集:Fireworks 实测：Kimi K3 质量接近 Opus 5 且成本大降(2026-07-28,5 条)
• 第 16 集:Kimi K3早期测试表现亮眼引发社区热议(2026-07-28,3 条)
• 第 17 集:Kimi K3 本地实测胜出，3D 物理场景击败多款云端模型(2026-07-28,5 条)
• 第 18 集:Kimi K3技术报告深度拆解：工程协同成就前沿性能(2026-07-28,21 条)
• 第 19 集:月之暗面 Kimi K3 登陆日本(2026-07-28,2 条)
• 第 20 集:Kimi K3 通过 Compound 基准但缓存命中率被指拖累成本(2026-07-29,2 条)

• Kimi K3 接入 SGLang，首日跑到 423 tok/s — ying11231 · 2026-07-28
• SGLang 为 Kimi K3 上线 day-0 支持并称达 423 tok/s — BanghuaZ · 2026-07-28
• 【源头】Kimi K3 经 DSpark 调优后解码吞吐升至 423 tok/s — ying11231 · 2026-07-28
• SGLang 首发支持 Kimi K3，推理速度飙至 423 tok/s — ying11231 · 2026-07-28
• 【源头】Kimi K3 在 AMD MI350X 上跑通，四路并发达 327 tok/s — burny_tech · 2026-07-28
• 【源头】SGLang 为 Kimi K3 混合架构做推理优化 — SonglinYang4 · 2026-07-28

另有 2 条近重复转述:vwxyzjn · ying11231