vLLM 宣布 TPU 成为一级后端
vllm_project · x · 2026-08-27
vLLM 项目通过与 Google Cloud 和 Anyscale 的合作活动，宣布了 TPU 后端的最新进展。新的 vLLM TPU 由 tpu-inference 驱动，统一了 JAX 和 PyTorch 的 lowering 路径。这使得开发者能够在 TPU 上运行 PyTorch 模型定义而无需修改代码，同时保持 vLLM 的标准化用户体验。目前推荐的 TPU 版本包括 v7x, v5e 和 v6e，并提供了详细的 Quickstart 指南和 Recipes。
「Infra」频道最新
- ASML CFO 称美国限制对华 DUV 销售将适得其反 — pstAsiatech · 2026-10-15
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15