SGLang v0.5.15 提升推理吞吐
TheZachMueller · x · 2026-07-15
SGLang 发布 v0.5.15，重点是面向生产推理的服务端优化：
- 针对 GLM-5.2 NVFP4 做了生产 serving 调优，在 8x B300 上达到 500+ tok/s/user，在 4x GB300 上达到 450 tok/s/user（bs=1）。
- 新增支持一些模型，包括 Hunyuan 3 (Hy3)、HRM-Text、NVIDIA LocateAnything-3B、Baidu Unlimited-OCR、JoyEcho、Qwen3.6。
- 本次更新的技术点包括：
- Breakable CUDA Graph 成为默认 capture 路径
- 内置 web search，由 Exa 提供
- 为 MLA 模型加入 decode context parallelism，覆盖 DeepSeek V3
- 增强 routed 模型的 all-to-all 通信能力
原帖还提到，后续会补充运行命令和更完整的技术细节博客。
所属事件:SGLang v0.5.15 调优 GLM-5.2，8×B300 跑出 500+ tok/s(6 条相关)→
「编程与Agent」频道最新
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27