vLLM 推出 TorchTPU 后端,支持谷歌云 TPU 推理
vLLM Blog · rss · 2026-10-20
vLLM 发布 vllm-torchtpu,一个基于 TorchTPU 构建的面向 Google Cloud TPU 的新推理后端,特性包括 Pallas kernels、多主机并行、KV cache offloading 以及分离式服务(disaggregated serving)。
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23