Meta 发布 Muse Spark Open:816B 参数 MoE 编码模型,上下文 100 万 token
PyTorch · x · 2026-11-18
Muse Spark Open 要点
Meta 推出面向 agentic coding 优化的 816B 参数 MoE 模型 Muse Spark Open,每 token 通过 top-8 路由激活 256 个专家中的 42B 参数,上下文窗口达 100 万 token,可装下整个含复杂依赖与数千文件的项目。
- 在 NVIDIA GB300 NVL72 Blackwell Ultra 上训练,官方称首次尝试准确率更高、工具调用可靠、跨仓库代码库理解更深。
- 在图像与文档理解之外,新增音频和视频感知,通过 1.8B 感知编码器原生处理交错多模态。
- 发布 NVFP4 量化 checkpoint,针对 Blackwell Ultra 的 FP4 Tensor Core 优化,显著压缩 816B 参数的显存占用。
部署与微调
- 在 GB300 NVL72 上跑 agentic 负载,官方宣称单 GPU 吞吐最高 50K token/s、单用户 600 token/s。
- 可从 Hugging Face 下载 NVFP4 权重实验;生产可用 NVIDIA NIM 一条命令部署。
- PyTorch 原生的 NVIDIA NeMo AutoModel 库支持免转换微调(开箱即用的全量 SFT 与 LoRA),并原生支持 HF checkpoint。
「编程与Agent」频道最新
- 用 Astra 24 小时造出机器人伴侣,作者公开完整过程 — gabrielchua · 2026-11-18
- Vercel 发布 eve 1.0:让生产级 Agent 搭建像用 Agent 一样简单 — soleio · 2026-11-18
- Meta 发布 816B MoE 编码模型 Muse Spark Open,NVIDIA 开放后训练与部署 — sergeykarayev · 2026-11-18
- SC26 设 BoF 讨论:编码智能体时代如何守住数值线性代数的可信度 — kfountou · 2026-11-18
- 微软 Copilot 推出 Workspaces:团队与 AI 智能体共享上下文协作 — testingcatalog · 2026-11-18
- Raindrop 推出 MCP Analytics:像监控 Agent 一样监控 MCP — ycombinator · 2026-11-18