SGLang 登上 TPU v7:单机跑 816B MoE,每芯片 2.59 万 tok/s
ying11231 · x · 2026-11-12
SGLang 团队与 RadixArk、Google 合作,通过 SGLang-TorchTPU 在单台 TPU v7 主机上运行 Muse Spark Open,并在 SemiAnalysis 的 AgentX 高强度负载下交出成绩单:
- Megakernel + DFlash2 推测解码:小 batch 下解码提速 3 倍;PyTorch 官方引用数据显示单用户 433 tok/s、单芯片最高 25.9K tok/s(1M 上下文),62 层 816B MoE 作为单个 Pallas 程序跑完,较此前路径单 token 提速 1.94 倍,DFlash2 带来 2.0 倍提升
- 超长上下文:50 万 token 场景解码提速 18%(独立 KV 流 + max-free attention),fp8 紧凑 KV cache 让单芯片上下文容量翻倍
- Agent 吞吐:融合 MoE kernel 与序列并行加速大 prompt prefill,HiCache 与会话感知淘汰机制带来最高 77% 的 agent 吞吐提升
代码与调优配方已开源,文档覆盖 GB300/B300/B200/H200/MI355X/Xeon 等多种硬件部署方案。
所属事件:SGLang 携手谷歌在 TPU v7 单机跑 816B MoE(2 条相关)→
「编程与Agent」频道最新
- Dylan Field:AI 支出 45% 给持久智能体,Claude Tags 不行 — AravSrinivas · 2026-11-12
- Databricks 推出 Genie 插件，接入 ChatGPT/Claude/Grok 等四大 AI 助手 — matei_zaharia · 2026-11-12
- 「Code review 已死」引热议:2000 行 diff 根本没人认真读 — andreisavu · 2026-11-12
- The Bot Board：无账号匿名开放板子，Grok 等 bot 也可发帖 — AiJohnAllen · 2026-11-12
- n8n 开源个人智能体 Nod:自带电脑和浏览器,678 次测试零越权 — JaynitMakwana · 2026-11-12
- 用 Tailscale+MCP 打通云端 AI Agent 访问家庭网络,还开上了无线电 — Dave_Maynor · 2026-11-12