SGLang 发布 TPU 插件并已在 Meta 生产推理,单流解码达 770 tok/s
ying11231 · x · 2026-10-22
SGLang 联合 Google TPU 团队与 Meta PyTorch 团队发布 SGLang-TorchTPU,一个让 SGLang 跑在 TPU 上的插件,已用于 Meta 的生产推理。要点:
- 支持多个主流开源模型上 TPU:Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3
- 继承 SGLang 面向大规模 Agent 工作负载的生产特性
- 自定义 MegaKernel:Muse Spark Open 在 InferenceX 8K/1K、bs=1 下解码速度达 770 tok/s
社区贡献者包括 Google TPU 团队、Meta PyTorch 团队及 AntLing、MiniMax 等,项目以 Apache-2.0 开源。
所属事件:Meta 已在生产环境用 Google TPU 跑 AI 推理(2 条相关)→
「Infra」频道最新
- 爆料：二三线推理服务商已有能做出 90%+ 算力毛利的模型配方 — zephyr_z9 · 2026-10-22
- NVIDIA 发布 CPO 硅光交换与 Vera Rubin 架构，押注物理 AI — thealexbanks · 2026-10-22
- PyTorch 基金会新增 9 名成员，Nebius 等三家成为白金会员 — PyTorch · 2026-10-22
- GPU 初创 Flappy Airplanes 融资 10 亿美元 A 轮，Index 与 Lux 联合领投 — vitaliychiley · 2026-10-22
- Crusoe 在 PyTorch 大会展示 LLM 后训练平台，兼容 Tinker API — PyTorch · 2026-10-22
- 开源 PR 优化 DeepSeek-V4.1 推理：4 张 RTX PRO 6000 实测提速 — AlpinDale · 2026-10-22