SGLang 系列深度博客:KV Cache 技术拆解与最新性能优化
BanghuaZ · x · 2026-10-23
SGLang 团队工程师发布了一系列关于 SGLang 中 KV Cache 的技术深度博客，并配以可交互的演示视频，覆盖从统一 Radix Cache 到 HiCache 混合模型缓存的完整演进。
官方博客近期亮点包括：
- Unified Memory：prefix 保留量提升 1.9 倍，请求返回时间减少 37.9%
- HiCache：混合模型缓存使输入吞吐最高提升 15.5 倍
- SGLang Omni：多阶段全双工交互模型服务与异构调度
- DeepSeek-V4.1 Flash：从 35 tokens/s 优化到 873 tokens/s
- Breakable CUDA Graph：与 Meta 合作，图构建快 5 倍、prefill 快 1.93 倍
- Kimi K3、Step 5 等 Day-0 支持与 RL 框架集成
「Infra」频道最新
- Daniel Gross 悬赏 10 万美元征兆谁能让 Muse Spark 跑得最快 — danielgross · 2026-10-23
- 老牌投资人爆料:SpaceX 算力年入 250 亿美元,Anthropic 与 Google 是大客户 — elonmusk · 2026-10-23
- 开源 Phosphene 让 Hailuo H3 在 Mac 上生成提速 2.3 倍 — cocktailpeanut · 2026-10-23
- Modal 以 157.5 亿美元融资 7.5 亿,推理基础设施稀缺性凸显 — sarahcat21 · 2026-10-23
- Cadence 推出主权 AI 云,服务欧洲芯片设计者 — karlfreund · 2026-10-23
- 开源 DynaLM：不依赖 GPU 的 CPU 优先 LLM 推理引擎 — Unlikely_Safety_7456 · 2026-10-23