腾讯 Hy4 旗舰 MoE 登陆 vLLM:774B 总参/49B 激活,1M 上下文
vllm_project · x · 2026-11-20
vLLM 项目宣布对腾讯 Hy4 提供 Day-0 支持,并给出完整部署配方。
模型规格
- 多模态 MoE:总参数约 774B,每 token 激活 49B,78 层,256 个路由专家(top-8)+1 个共享专家
- 注意力为门控稀疏 MLA(跨层索引复用),支持最高 100 万 token 上下文
- 含 1.23B 视觉编码器与 3.3B 的 DFly2 投机解码草稿模型,提供 FP8 与 BF16 两种 checkpoint
部署要点
- 单台 8 卡 NVIDIA 节点即可运行:FP8 约需 944GB 显存,BF16 约 1859GB;默认配置 8× B300 + FP8
- 提供 Docker 镜像 vllm/vllm-openai:hy4 与官方 recipe,含 hyv4 工具/推理解析器、FLASHMLASPARSE 注意力后端、DFly2 投机解码配置
- 不支持 AMD ROCm;腾讯主导模型实现,Inferact 贡献集成并在生产环境用 vLLM 服务 Hy4
此前腾讯公布的盲测中,Hy4 在 579 项金融任务、213 位专业人士评测中获得 3.04 的总分,高于 DeepSeek-V4.1-Flash(2.97)、Kimi K3.1 Pro 与 GLM-5.3(均 2.68)。
「Infra」频道最新
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20
- Tessara 复盘 Nvidia 七项预测:五中两失,供应商订单暴增至 2030 亿美元 — tengyanAI · 2026-11-20
- 单张 Intel ARC B70 跑 Qwen3.8-Flash-Next:2.5K prefill、47 token/s — WizardlyBump17 · 2026-11-20
- SQLite 存 10KB 小文件比文件系统快约 35%,原因在系统调用开销 — arpit_bhayani · 2026-11-20
- NVIDIA NarrowSpec:草稿模型隐藏宽度减半仍可加速 1.44 倍 — nvidia · 2026-11-20