GLM 5.2 异步调参后单用户吞吐升至 47 tok/s
TheZachMueller · x · 2026-07-21
一套“邪门” GLM 5.2 部署，把单用户吞吐拉到 47 tok/s
这条帖子在讲一个针对 GLM 5.2 NVFP4 的极限推理部署优化过程：作者花了 10 小时 47 分钟、跑了 640 万 token 去调服务栈。
- 起点是常规的 6 GPU 多节点 vLLM，吞吐约 20 tok/s/user。
- 之后改成 TP2→TP4 非对称拓扑，尽量把跨节点流水线边界压到最小。
- 再通过 30/48 层切分 和异步 PP/NCCL 处理，既修掉 pipeline deadlock，又保持输出完全一致。
- 最终达到 T=1 时 47.1 tok/s/user、T=4 时 42.7 tok/s/user，四用户聚合吞吐 169 tok/s。
配图还列出了从 baseline 到最终峰值的逐步提升路径。
所属事件:极限拓扑调优让大模型推理吞吐达47 tok/s(2 条相关)→
「Infra」频道最新
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- xAI Colossus 1 数据中心 FP64 算力约 14.6 exaflops,达 Top500 榜首 5 倍 — cis_female · 2026-10-27
- Lambda 实测 NVIDIA DSX MaxLPS：同等电力多跑 3 节点，吞吐提升 24% — TheZachMueller · 2026-10-27
- 新播客：Micron HBM 路线图、Meta AI 基建与 NVIDIA 供应链掌控 — BenBajarin · 2026-10-27
- SGLang MegaKernel+PD 发布：高并发吞吐与低延迟兼得，TCO 大幅优化 — AccBalanced · 2026-10-27
- 自托管 Convex 扩容实战：把 TypeScript 函数编译成 WASM — leventov · 2026-10-27