GLM-5.2-FP8 本地推理测试
AlpinDale · x · 2026-07-09
作者称自己在 4 台搭载 4090 48GB 的机器上运行 GLM-5.2-FP8，解码速度约为 28 tok/s。 他还提到当前节点之间只有 10Gb 以太网互联，因此速度还有提升空间，并表示自己也在尝试让 DSpark 运行起来，后续还会把相关 kernels 上游到 vLLM。
AlpinDale · x · 2026-07-09
作者称自己在 4 台搭载 4090 48GB 的机器上运行 GLM-5.2-FP8，解码速度约为 28 tok/s。 他还提到当前节点之间只有 10Gb 以太网互联，因此速度还有提升空间，并表示自己也在尝试让 DSpark 运行起来，后续还会把相关 kernels 上游到 vLLM。