双 DGX 工作站跑 GLM-5.3:并发 16 达 607.8 tok/s,32 并发延迟飙至 453 秒
petrusenko_max · x · 2026-11-15
X 用户 petrusenkomax 实测 GLM-5.3 在两台 DGX Station 上的推理性能:并发 16 时峰值达 607.8 tok/s;并发提升到 32 时吞吐降至 385.0 tok/s,平均延迟高达 453.5 秒。作者指出这实质上是一个约 16 槽位的队列而非真正的共享基础设施:子代理调用和重试会串行化排队,第二台工作站的算力只是你付了钱却用不上的冗余容量。
「Infra」频道最新
- 评论员类比微软反垄断案:黄仁勋若离任或成英伟达统治拐点 — TiernanRayTech · 2026-11-15
- 分析师警告:超大规模云厂商或垄断 AI 算力,初创融资恐枯竭 — BenBajarin · 2026-11-15
- Dario Amodei:算力采购是 Anthropic 最深的商业难题 — _AustinCalvert_ · 2026-11-15
- Anthropic IPO 路演图引热议:Mythos 或可用零头算力重训 — Witty_County5128 · 2026-11-15
- Hugging Face 研究员:大厂联手做空 Jensen,因其力推开源 — mervenoyann · 2026-11-15
- Google 开源 Agent 编排运行时 AX,类 K8s 声明式管理大规模智能体 — rakyll · 2026-11-15