vLLM整合腾讯混元生产内核，Hopper推理大幅提速
vllm_project · x · 2026-07-06
vLLM项目宣布，Hunyuan3（Hy3）模型在NVIDIA Hopper上的服务现已大幅优化。腾讯混元AI Infra团队用于其生产环境的HPC-Ops注意力与MoE后端，已成为vLLM主分支的一等公民后端。 该方案包含逐步骤负载均衡的decode调度器和全融合FP8 MoE流水线：在混合长度decode上相比静态split-KV调度最高提速2.95倍，并将Hy3的TTFT降低约24%、TPOT降低约17%，无需fork或修改源码即可使用。