腾讯混元 Hy4-Flash 引擎 PR 曝光:张量并行+MTP 草稿+CPU 专家通道

TencentHunyuan · x · 2026-11-19

腾讯混元官方转发了一条 GitHub PR:Hy4-Flash 模型即将合入开源推理项目 Project Maya 的 main 分支,配套专用引擎 maya-hy4(NVIDIA、Linux)。

PR 细节显示:模型含 42 层加一个 MTP 块,采用 MLA 注意力(512 token 滑动窗口、12 层带 indexer)、512 个路由专家取 top-16、4 路 hyper-connection,并在 4 层上做 Engram n-gram 查表;引擎支持张量并行(--tp auto|N|0)、MTP 草稿推理和 CPU expert lane,从 AngelSlim 的 GGUF 打包出发只写几何/索引/tokenizer 而不拷贝权重,服务端支持 chat、带 effort 级别的 thinking 与工具调用。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →