Hy4 preview GitHub 仓库公开：256 专家、内置 MTP 层与 Gated DSA 注意力
aigclink · x · 2026-08-28
腾讯 Hy4 preview 的 GitHub 仓库已公开。架构细节：770B 总参数、激活 49B；主干 78 层，首层为稠密 FFN，其余 77 层为 MoE——每层含 256 个路由专家 + 1 个共享专家，每个 token 激活 top-8 路由专家。另内置 1 个原生 MTP 层（总参 10B、激活 0.7B）用于投机解码。注意力模块受 DeepSeek 与 GLM 启发，采用带 IndexCache 的 Gated DeepSeek Sparse Attention（Gated DSA）实现跨层稀疏。
仓库同时提供 vLLM/SGLang 部署、微调、量化文档及中英双语 README。
所属事件:腾讯开源混元 Hy4 Preview：770B MoE、百万上下文(28 条相关)→
「模型」频道最新
- 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
- 爆料人称 Opus 5 或采用深度循环架构，方向仍存变数 — scaling01 · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- Nvidia 联手 Nolla 后训练 Nemotron 3.5 VL，皮肤科诊断称超越前沿 — LoganGrasby · 2026-10-16
- Gemini 4 Argon 登顶 ARC-AGI-3 达 97.5%，第二家破 95% — patience_cave · 2026-10-16
- 微软 MAI 自研 3T 参数基座模型亮相，多项 held-out 评测领先 — soldni · 2026-10-16