Meta 工程师证实已用 Google TPU 在生产环境跑 AI 推理
dotey · x · 2026-10-21
Google 在开发者博客发布 TPU 版 vLLM 与 SGLang 原生推理引擎，并引用 Meta PyTorch-TPU 负责人 Zongwei Zhou 的原话：“SGLang-TorchTPU 今天已经在 Meta 的生产环境中运行。”这是 Meta 使用 Google TPU 跑生产推理的首次一手确认。SemiAnalysis 早在 2025 年 11 月就报道称 Meta 是 TPU 客户，The Information 今年 2 月报道两家签了多年、数十亿美元的 TPU 租用合同，但 Meta 未公开规模、涉及产品及租买方式。
技术层面：Google 推出 TorchTPU，让 TPU 成为原生 PyTorch 设备，张量以标准 PyTorch 张量管理，支持 eager 执行与 torch.compile（经 XLA 编译），vLLM 与 SGLang 在其上保留各自的 worker 模型、调度器、KV cache 管理与 API server，底层替换为 TPU 实现，并附带优化的 Pallas 内核。此举被视为对英伟达 CUDA 生态壁垒的直接挑战。
「Infra」频道最新
- 摩根士丹利：2027-2028 年 AI 基建支出近 3.4 万亿美元 — FinanceYF5 · 2026-10-21
- MiniMax 工程师实测 M3.1 Flash：快 1.9 倍的模型未必更快交付 — AI Engineer · 2026-10-21
- Training Factory 开源：QLoRA 微调 4-bit 量化模型省 GPU 成本 — textclf · 2026-10-21
- DeepSeek 开源 DeepInfer：单集群日处理 155 万亿 token，推理利润率超 80% — Latent Space · 2026-10-21
- Cerebras 曝光 CS-4 晶圆级背包:4 万亿晶体管 250 PFLOPS 算力 — GregoryDiamos · 2026-10-21
- Anthropic 自研 Scion 取代 Git：号称支撑每日 3 万次 monorepo 合并 — Capatain_CV · 2026-10-21