vLLM 实测 TPUv7 达 700 tok/s，比英伟达 GB200 NVL72 快 56%
woosuk_k · x · 2026-09-24
SemiAnalysis 转发称，vLLM 维护者最新测试显示，通过 Megakernel 优化，TPUv7 在运行 Kimi K3 时可达每用户 700 tok/s 的推理速度，比英伟达 GB200 NVL72 高出 56%。SemiAnalysis 认为 TPU 软件生态的对外开放正在全速推进，这一进展值得持续关注。
所属事件:首个 TPU 推理 megakernel 开源，速度超 GB200(3 条相关)→
「Infra」频道最新
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11
- GPU 租价创新高:B200 按需价涨至 $6.97/小时 — inductionheads · 2026-11-11