vLLM整合腾讯混元生产内核，Hopper推理大幅提速
vllm_project · x · 2026-07-06
vLLM项目宣布，Hunyuan3（Hy3）模型在NVIDIA Hopper上的服务现已大幅优化。腾讯混元AI Infra团队用于其生产环境的HPC-Ops注意力与MoE后端，已成为vLLM主分支的一等公民后端。
该方案包含逐步骤负载均衡的decode调度器和全融合FP8 MoE流水线：在混合长度decode上相比静态split-KV调度最高提速2.95倍，并将Hy3的TTFT降低约24%、TPOT降低约17%，无需fork或修改源码即可使用。
「Infra」频道最新
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26