双 DGX 工作站跑 GLM-5.3:并发 16 达 607.8 tok/s,32 并发延迟飙至 453 秒

petrusenko_max · x · 2026-11-15

X 用户 petrusenkomax 实测 GLM-5.3 在两台 DGX Station 上的推理性能:并发 16 时峰值达 607.8 tok/s;并发提升到 32 时吞吐降至 385.0 tok/s,平均延迟高达 453.5 秒。作者指出这实质上是一个约 16 槽位的队列而非真正的共享基础设施:子代理调用和重试会串行化排队,第二台工作站的算力只是你付了钱却用不上的冗余容量。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →