开源推理栈带来200+ tok/s
Dave_it_up · x · 2026-07-13
作者称，开源不仅靠权重本身改变世界，更在于全球专家共同构建出来的**基础设施生态**。 他分享了一次“超快推理”的体验：在**每个流 200+ tok/s** 的条件下，多个子智能体同时运行，效果让他觉得其他方案都“有点坏掉了”。他形容这种速度会带来一种新的预期——代理不仅能更快跑完，还能在用户开口前主动给出结果。 文末说明这套结果来自： - **GLM52 FP8** 原始模型 - 由 @Zai_org 相关的 agent harness 驱动 - 推理栈使用 **vLLM** 和 **LiteLLM** - 默认参数下启用了内置 **MTP** 作者还提到音频由 GeminiApp 提供。