Hy4 preview GitHub 仓库公开：256 专家、内置 MTP 层与 Gated DSA 注意力

aigclink · x · 2026-08-28

腾讯 Hy4 preview 的 GitHub 仓库已公开。架构细节：770B 总参数、激活 49B；主干 78 层，首层为稠密 FFN，其余 77 层为 MoE——每层含 256 个路由专家 + 1 个共享专家，每个 token 激活 top-8 路由专家。另内置 1 个原生 MTP 层（总参 10B、激活 0.7B）用于投机解码。注意力模块受 DeepSeek 与 GLM 启发，采用带 IndexCache 的 Gated DeepSeek Sparse Attention（Gated DSA）实现跨层稀疏。

仓库同时提供 vLLM/SGLang 部署、微调、量化文档及中英双语 README。