Meta 已在生产环境用 Google TPU 跑 AI 推理
Google 开发者博客发布 TPU 版 vLLM 与 SGLang 原生推理引擎,并得到 Meta 方面背书:Meta PyTorch-TPU 负责人 Zongwei Zhou 确认已用 Google TPU 在生产环境运行 AI 推理。随后 SGLang 联合 Google TPU 团队与 Meta PyTorch 团队发布 SGLang-TorchTPU 插件,让 SGLang 可直接跑在 TPU 上,Meta 生产环境中单流解码速度达 770 tokens/s。
2026-10-21 ~ 2026-10-22 · 2 条相关
- 第 1 集:谷歌联手 Meta 开源 TorchTPU,PyTorch 原生跑上 TPU(2026-10-20,15 条)
- 第 2 集:Meta 已在生产环境用 Google TPU 跑 AI 推理(2026-10-21,2 条)
- Meta 工程师证实已用 Google TPU 在生产环境跑 AI 推理 — dotey · 2026-10-21
- SGLang 发布 TPU 插件并已在 Meta 生产推理,单流解码达 770 tok/s — ying11231 · 2026-10-22