Meta 已在生产环境用 Google TPU 跑 AI 推理

Google 开发者博客发布 TPU 版 vLLM 与 SGLang 原生推理引擎,并得到 Meta 方面背书:Meta PyTorch-TPU 负责人 Zongwei Zhou 确认已用 Google TPU 在生产环境运行 AI 推理。随后 SGLang 联合 Google TPU 团队与 Meta PyTorch 团队发布 SGLang-TorchTPU 插件,让 SGLang 可直接跑在 TPU 上,Meta 生产环境中单流解码速度达 770 tokens/s。

2026-10-21 ~ 2026-10-22 · 2 条相关

事件全程(共 2 集)→