PyTorch 推出 TorchTPU,vLLM 与 SGLang 可原生跑 TPU
PyTorch · x · 2026-10-02
PyTorch 官方宣布基于全新 PyTorch 原生 TPU 后端 TorchTPU 构建的 vLLM 与 SGLang 推理引擎,并将在 PyTorch Conference 北美站(圣何塞)由 Google 的 Qi Zhou、Meta 的 Colin Taylor 与 Angela Yi 详细讲解。
技术要点:
- 目标是让现有 SGLang 和 vLLM 基础设施原生运行在 TPU 上,保留 GPU 用户已熟悉的调度器、批处理系统、OpenAI 兼容 API 和 torch.compile 工作流
- 服务引擎保持在上游主线,新模型和新功能无需单独的 TPU 专属实现即可在 TPU 上运行
- 演讲还将分享生产环境实测经验:编译时间、tracing 下的设备放置、KV cache 布局、跨芯片集合通信等
所属事件:PyTorch 发布原生 TPU 后端 TorchTPU,vLLM 与 SGLang 可直接运行(2 条相关)→
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16