GLM-5.2 NVFP4 推理提速
nickcraske · x · 2026-07-10
帖子引用的内容称，GLM-5.2 在 Nvidia NVFP4 上实现了推理优化：没有剪枝、没有量化，仍保持相同模型卡，并给出了单流 110 tok/s 的结果。引用里还提到一个仓库复现了 Full DS4-Flash 在 5090 + DDR5 上以 38.5 tok/s 运行，作者称这是一次突破。
nickcraske · x · 2026-07-10
帖子引用的内容称，GLM-5.2 在 Nvidia NVFP4 上实现了推理优化：没有剪枝、没有量化，仍保持相同模型卡，并给出了单流 110 tok/s 的结果。引用里还提到一个仓库复现了 Full DS4-Flash 在 5090 + DDR5 上以 38.5 tok/s 运行，作者称这是一次突破。