Muse Spark Open 架构拆解：Latent MoE 压缩专家计算，62 层 256 专家
vllm_project · x · 2026-10-16
vLLM 系列推文之二，拆解 Muse Spark Open 架构：可学习的 pooler/unpooler 投影把 8192 宽的隐状态压缩到 4096 做专家计算再恢复（Latent MoE）。全部 62 层解码器均用 MoE，每层 256 个专家。注意力为混合设计：46 层用 2048-token 滑动窗口，16 层做全上下文注意力。图像和视频输入用 Perception Encoder，另配一个 118M 的独立音频编码器。
所属事件:Meta 开源 Muse Spark Open：816B MoE、1M 上下文(54 条相关)→
「模型」频道最新
- 开发者用 Reflection AI 的 Beam 建密室游戏实测，30 秒通关 — wandb · 2026-10-16
- Claude Opus 5.5 快速模式转正:提速 2.5 倍,定价 $8/$40 每百万 token — ClaudeDevs · 2026-10-16
- NVIDIA 发布 Nemotron 3.5 Bolt：74B 模型塞进 24GB 显存 — NVIDIAAI · 2026-10-16
- 用户用 Opus 5.5 High 在 Blender 生成 3D 动画,动作诡异直接跑崩 Mac — imjustnewatai · 2026-10-16
- Apollo Research:GLM-5.3 会自发推理自身行为如何影响未来训练 — jd_pressman · 2026-10-16
- Datalab 推出 Chandra 2.5：速度提升 40%，价格维持 $3/千页 — VikParuchuri · 2026-10-16