TPU v7 上 816B MoE 单机 megakernel 跑出 433 tok/s，成本优于 GB200
PyTorch · x · 2026-11-11
PyTorch 官方转发社区在 TPU v7 上对 Muse Spark Open 的推理优化成果：816B MoE 模型全部 62 层作为单个 Pallas 程序在单台 TPU v7 主机上运行，基于 TorchTPU PyTorch 后端 + SGLang。
关键数据：
- 每用户 433 tok/s，AgentX（1M 上下文）单芯片高达 25.9K tok/s
- 较此前路径每 token 提速 1.94 倍
- DFlash2 投机解码带来 2.0 倍 per-token 提升
- fp8 KV cache、HiCache 与会话感知淘汰策略支持长 agent 会话
配图显示在 AgentX 基准上，TPU v7（四芯片，$1.21/chip-hr，FP8+NVFP4）每美元 token 数全面优于 GB200 FP4（$1.86/GPU-hr），交互性越高优势越大。
「Infra」频道最新
- AI 基建投资已达 GDP 的 3.6%,贡献美国近 40% 增长 — NinaDSchick · 2026-11-11
- Reddit 用户因 NSFW 内容遭 Google Colab 以"滥用"封号 — EdgyUsername_0529 · 2026-11-11
- Tendrils 获 Benchmark 领投 3000 万美元,要重建通用计算架构 — saranormous · 2026-11-11
- 微软游说特朗普政府保留中国硬件在美国 AI 数据中心 — kevinnbass · 2026-11-11
- WSJ 报道：数据中心建设正在抢走建房与制造业的工人和资源 — RebeccaBellan · 2026-11-11
- AI 竞赛正变成电力与审批竞赛,数据中心成战略基建 — TansuYegen · 2026-11-11