SGLang 开源 Breakable CUDA Graph：Prefill 建图提速 3.8–5.2 倍
ying11231 · x · 2026-09-05
SGLang 团队回顾今年 2 月开源的 Breakable CUDA Graph（BCG），并发布全可视化深度解析博客。
- BCG 能在传统 CUDA Graph 无法捕获的算子处保持图执行，分段绕过不可捕获的 op
- 4 月起成为 SGLang prefill 路径默认方案，7 月扩散管线也采用
- 性能数据：prefill 建图速度提升 3.8–5.2 倍、代码量约为原来的四分之一；BCG 下 prefill 相对 eager 提速 1.70 倍，全捕获可达 1.93 倍
- 与 Meta 合作完成，NVIDIA、AMD、PyTorch、Thinking Machines 等团队提供支持
「Infra」频道最新
- Mac M5 Max + Ubuntu 4090 本地跑 Opus 级编码 agent，速度近 2 倍 — julianharris · 2026-09-05
- GPU推理价值无统一度量标准，算力期货正赌在这些指数上 — AccBalanced · 2026-09-05
- AI Now 播客谈数据中心狂飙：社区反对声与「他们不建在自己家」 — AINowInstitute · 2026-09-05
- Apple Silicon 推理优化挑战:Gemma 4 Mac 跑速提升 151.4% — gajesh · 2026-09-05
- Qwen3.8-Flash-Next 成功跑在小米 14T Pro 手机 CPU 上 — Tall_Abrocoma_3533 · 2026-09-05
- SemiAnalysis：OpenAI 自研 ASIC 意在吓退 NVIDIA，输赢都赚 — MarvinTBaumann · 2026-09-05