腾讯混元 Hy4-preview 亮相 vLLM：770B MoE 配 1M 上下文
TencentHunyuan · x · 2026-08-30
vLLM 官方宣布腾讯混元 Hy4-preview 从发布首日即支持 vLLM，并在 NVIDIA GPU 上完成验证。
架构要点：
- 总参数 770B，每 token 激活 49B；78 层中第一层为 dense FFN，其余 77 层用 256 个路由专家（top-8）+1 个共享专家
- 支持 1M 上下文，但每个 query 只 attend 到 2048 个 token（Gated DeepSeek Sparse Attention + IndexCache 实现跨层稀疏索引复用，78 层中仅 21 层自行计算稀疏索引）
- checkpoint 内置 10B 参数的 MTP 层（激活 0.7B，draft 深度 3）用于投机解码
部署：FP8 版本可在 16×B200 或 8×B300 上运行，通过 VLLMENABLEHPCOPS=1 启用腾讯 HPC-Ops 注意力与 MoE 内核（自 Hy3 起已进入 vLLM 主线），配合 MTP 投机解码与 hyv4 工具/推理解析器即可提供服务。
所属事件:腾讯开源混元 Hy4 预览版：770B MoE 配百万上下文(12 条相关)→
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15