SGLang Q4 多硬件路线图:已支持 10+ 加速器,插件化接入成一等公民
ying11231 · x · 2026-11-12
SGLang 项目公布 2026 Q4 多硬件路线图,目前已在 10+ 加速器家族上运行,且插件系统让「树外新增后端」成为一等公民路径。
树内后端(Q4 重点)
- NVIDIA:Q4 协作路线图刷新
- AMD:MI45x、Helios 机架级、Ryzen AI Halo/Radeon;monokernels/megakernels、分布式推理、投机解码、HiCache、diffusion/Omni 与 Miles RL
- Google TPU:前沿模型 Day-0 支持、agentic 工作负载优化、diffusion 服务、TPU 上 RL rollout、生产可靠性
- Ascend NPU:收尾 H2 里程碑
- Intel Xeon CPU 与 XPU、T-Head PPU / Cambricon MLU:后端优化与 bring-up
插件接入的新后端:AWS Trainium、MetaX(摩尔线程)
平台工作:基于能力的设备门控、投机解码与量化的插件兼容、全后端生产推理审计。
「Infra」频道最新
- AMD CEO 苏姿丰：我们是数据中心优先的公司，Q4 环比再增 50% — dr1337 · 2026-11-12
- Minimax H3 单卡5090跑出61MP原生大图，110秒一张可商用 — q5sys · 2026-11-12
- TTunguz 追问 AI 价值链谁拿走最多利润：从电厂到 Agent 全链条算账 — AccBalanced · 2026-11-12
- 8卡 AMD MI355X 服务器报 50.5 万美元，2.3TB 显存约 12 周到货 — AIFlow_ML · 2026-11-12
- 审计 5 亿次 token 后发现:子代理反而省 钱,冷启动才是账单杀手 — Adorable-Cost-3249 · 2026-11-12
- Together AI:流量形态决定推理瓶颈，先测量再优化 — togethercompute · 2026-11-12