Meta 发布 816B MoE 编码模型 Muse Spark Open,NVIDIA 开放后训练与部署
sergeykarayev · x · 2026-11-18
Meta 发布面向 agentic 编码的 MoE 模型 Muse Spark Open(816B 总参数、每 token 激活 42B、256 专家 top-8 路由),在 NVIDIA GB300 NVL72 Blackwell Ultra 上训练,并配套完整的微调与部署路径。
关键规格与数字:
- 1M token 上下文:可容纳整个代码仓库、复杂依赖与遗留代码,无需切分任务。
- 多模态感知:在图像与文档理解之外新增音频和视频感知,通过 1.8B 感知编码器原生处理交错模态。
- 性能:GB300 NVL72 上 agentic 工作负载最高每 GPU 5 万 tokens/秒,单用户约 600 tokens/秒。
- NVFP4 检查点:针对 Blackwell Ultra 优化,压缩全部 816B 参数内存占用,原生 FP4 Tensor Core 加速。
工程侧:开发者可用 NVIDIA NeMo AutoModel(PyTorch 原生训练库,原生支持 Hugging Face 检查点)做领域数据的 SFT 与 LoRA 微调,无需模型转换;也可一键下载 NIM 用于生产部署。权重已在 Hugging Face 提供。
这展示了「前沿模型 + 全栈推理/微调基础设施」绑定的发布模式:模型发布同时给出后训练工具链和优化部署方案。
所属事件:Meta 发布 816B 参数 MoE 编码模型 Muse Spark Open(2 条相关)→
「编程与Agent」频道最新
- 开发者在 Linux 上完成 iOS 全流程,无需 Mac 和 Xcode — anthara_ai · 2026-11-18
- 开源 scroll-world:一条 prompt 生成苹果式 3D 滚动官网,省下数万美元 — anthara_ai · 2026-11-18
- Hoy 发布:为 Agent 重造的 macOS 虚拟机,启动快 20%、快照恢复快 2.5 倍 — jasonkneen · 2026-11-18
- Google Antigravity 新推 swarm agents+Orchestrator,数据分析实用 — gaganghotra_ · 2026-11-18
- mitsuhiko 预告将撰文分享自己的 agentic coding 工作流 — mitsuhiko · 2026-11-18
- 把「共享 RAM」做成任务栈:人机协作推进长线修订工作 — alfcnz · 2026-11-18