PyTorch 推出 TorchTPU,vLLM 和 SGLang 可原生跑在 TPU 上
PyTorch · x · 2026-10-02
PyTorch 官方宣布基于新的 PyTorch 原生 TPU 后端 TorchTPU,vLLM 和 SGLang 推理引擎已在 TPU 上原生运行。Google 的 Qi Zhou 与 Meta 的 Colin Taylor、Angela Yi 将在圣何塞 PyTorch Conference North America 上分享细节。
- 核心思路是让现有 serving 基础设施原生于 TPU:保留调度器、批处理系统、OpenAI 兼容 API 和 GPU 用户熟悉的 torch.compile 工作流。
- 由于 serving 引擎保持在 upstream,新模型和新功能无需单独写 TPU 专用实现即可直接跑在 TPU 上。
- 演讲还将覆盖生产环境经验:编译时间、tracing 下的设备放置、KV cache 布局与跨芯片集合通信。
所属事件:PyTorch 发布原生 TPU 后端 TorchTPU,vLLM 与 SGLang 可直接运行(2 条相关)→
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16