开源推理栈实现超200 tok/s极速体验

近日，有开发者分享了基于开源模型 GLM-5-32B FP8 的极速推理体验。在多子智能体并行的条件下，该开源推理栈实现了每路超 200 tok/s 的惊人速度。作者借此强调，开源的真正胜利不仅在于模型权重本身，更在于由全球专家共同构建的强大基础设施生态，这才是推动 AI 应用落地的关键。

2026-07-13 ~ 2026-07-13 · 2 条相关

• GLM-5-32B实现超200 tok/s极速推理体验 — Xianbao_QIAN · 2026-07-13
• 开源推理栈带来200+ tok/s — Dave_it_up · 2026-07-13