Meta 开源 Muse Spark Open:816B 总参/42B 激活 MoE 推理模型,1M 上下文,vLLM 零日支持
vllm_project · x · 2026-10-16
vLLM 官方宣布为 Meta 的 Muse Spark Open 提供 Day-0 支持，这是一个开源稀疏 MoE 推理模型：总参数 816B、每 token 激活 42B，上下文窗口 100 万 token，主打长时程 agentic coding，并原生支持图像与视频感知。
- 架构：62 层全部为 MoE 层（每层 256 个专家、激活 8 个，无共享专家），专家采用 4-bit 量化而路由与压缩矩阵保持全精度；注意力为 128 个 query 头共享 16 个 KV 头，KV cache 缩小 8 倍；层类型按 4 层一循环交替滑动窗口（2048）与全注意力，长距层去掉 RoPE。
- 部署：提供 NVIDIA（vllm-openai:muse-spark-open）与 AMD ROCm 镜像，MXFP4 与 BF16 可在单台 8 卡节点以 TP+专家并行运行；可选 DSpark 草稿模型做投机解码。
- RL 训练：Day-0 支持 LoRA RL——vLLM 做 rollout、verl FSDP2 做训练；在 DAPO-Math-17K 上用 16 张 GB300 跑 150 步 GRPO，AIME-2024 mean@8 从 0.56 提升到 0.85。
所属事件:Meta 开源 Muse Spark Open：816B 参数美国最强开放权重模型(45 条相关)→
「Infra」频道最新
- LMA day-0 支持扩至四大芯片:TPU 上首次实现模型零日上线 — ying11231 · 2026-10-16
- Semtech 分析师日幻灯片讲透信号完整性：衰减、带宽、非线性、噪声四大损伤 — BenBajarin · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16
- Khala 研报对比 peaq、THOR、BitRobot、Axis 四家机器人数据代币化项目 — 0xSammy · 2026-10-16
- Signal65 实测：Xeon 6 跑 Agent 负载快 11% 且更省钱 — ryanshrout · 2026-10-16