SGLang 发布 v1.0:Rust 重写热路径,已被 330+ 组织采用、支持 217 个模型
AccBalanced · x · 2026-11-13
SGLang 在 SGLang Summit 上发布 v1.0,定位为面向生产规模的高性能 LLM 与多模态推理框架。
主要更新:
- 更快推理:零开销调度、性能关键路径用 Rust 重写、投机解码、megakernels
- 更好利用内存:混合模型统一内存,层级缓存让长 agent 历史可复用、超出 GPU 显存
- 灵活扩展:prefill/decode 分离、灵活并行以匹配负载
目前已被 330+ 组织采用,提供 217 个模型的 day-zero 支持,详细发布说明即将公布。
所属事件:SGLang 发布 v1.0：Rust 重写热路径，330+ 组织采用(2 条相关)→
「Infra」频道最新
- WSJ 爆料黄仁勋称 CFO 是「吓呆的鹿」，Nvidia 内部现裂痕 — GaryMarcus · 2026-11-13
- 开源 tamserve 让多摄像头实时追踪提速3.8倍，成本砍半 — Chunkymunkey642069 · 2026-11-13
- 黄仁勋 5000 亿美元芯片融资协议未促成任何交易，被批「本世代最大骗局」 — SumitGup · 2026-11-13
- 独家：黄仁勋离任后，云厂商开始评估 Google 与 AMD 芯片替代方案 — SumitGup · 2026-11-13
- 台积电确认员工数据泄露，4.6 万条记录被标价 3 比特币出售 — rohanpaul_ai · 2026-11-13
- Dylan Patel：DeepSeek 与 Moonshot 开源代码仅支持 Blackwell — anshulkundaje · 2026-11-13