SGLang 携手谷歌在 TPU v7 单机跑 816B MoE

SGLang 团队联合 RadixArk 与 Google,通过 SGLang-TorchTPU 在单台 TPU v7 主机上运行 816B 参数的 Muse Spark Open 模型,将全部 62 层作为单个 Pallas megakernel 程序执行,实现每芯片 2.59 万 tok/s、单机 433 tok/s 的推理性能,成本表现优于 GB200,该成果获 PyTorch 官方转发。

2026-11-11 ~ 2026-11-12 · 2 条相关

• TPU v7 上 816B MoE 单机 megakernel 跑出 433 tok/s，成本优于 GB200 — PyTorch · 2026-11-11
• SGLang 登上 TPU v7:单机跑 816B MoE,每芯片 2.59 万 tok/s — ying11231 · 2026-11-12