vLLM 首日支持腾讯混元 Hy4 Flash,附 8 卡 H200 部署配方
vllm_project · x · 2026-11-18
vLLM 宣布对腾讯混元 Hy4 Flash 提供首日(Day-0)支持。该模型总参数 220B(含 64B Engram 嵌入)、每 token 激活 12B,支持 1M 上下文与多模态理解,面向日常生产力与 agent 工作流。
架构要点:42 层解码器采用混合滑窗+压缩稀疏注意力,配 Latent MoE、Engram 嵌入与五层 DFly 投机解码头(默认开启)。部署方式:
- 专用镜像 vllm/vllm-openai:hy4-flash,需 Hopper/Blackwell 数据中心 GPU(H100/H200/B200 等),暂不支持 AMD
- 默认配置为 8×H200 张量并行 + BF16,含完整 vllm serve 启动命令与投机解码参数
- Engram 表可卸载到主机内存
「Infra」频道最新
- SpaceX CFO:电力将成为算力瓶颈,明年或成最大 AI 基础设施玩家 — XFreeze · 2026-11-18
- AI2 发布 MoE 训练技术报告:重构 Olmo-core,最高 1.2T 参数跑在 512 张 B300 上 — AkariAsai · 2026-11-18
- SGLang 发布 v1.0 并成立联盟,NVIDIA、AMD、Intel 等 9 家罕见联手 — nikola_mr64990 · 2026-11-18
- 曝光:ChatGPT 之前英伟达销售牵线,帮 Alice Huang 拿下阿里芯片订单 — HanchungLee · 2026-11-18
- 英伟达 CFO 松口:对「循环融资」投资是否正确需重新审视 — rohanpaul_ai · 2026-11-18
- Together AI 开放 DeepSeek V4.1 Flash 1017 后训练,支持自建 RL/SFT — togethercompute · 2026-11-18