GLM-5.2 本地推理测试: ubatch 对 MoE 性能影响巨大
fuzhongkai · reddit · 2026-08-22
在 3 张 RTX PRO 6000 Blackwell 上对 GLM-5.2-UD-IQ2XXS GGUF 进行推理测试发现，增大 ubatch size 对长提示词的性能提升显著（从 763 t/s 提升至 1145 t/s），但对短提示词帮助不大。作者推测这与 GLM-5.2 的 256 专家 / Top-8 MoE 架构有关，更大的批次能提高专家 GEMM 的利用率。此外，在没有 NVLink 的 PCIe 连接下，分层拆分比张量并行 (TP=3) 快得多。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16