Meta 开源模型 Muse Spark Open 实测：每兆瓦吞吐可达 1.5 亿 tokens/s
ArtificialAnlys · x · 2026-10-24
Artificial Analysis 将 Meta 新发布的 816B（激活 42B）开放权重模型 Muse Spark Open 接入其 AA-AgentPerf 推理榜单，公布首批测试结果。
- 模型在 Artificial Analysis Intelligence Index 得分 39；MoE 架构共 62 层，其中 46 层采用 2048-token 滑动窗口注意力，使 1M 上下文的 KV cache 需求比全注意力降低约 75%
- 吞吐导向配置下，NVIDIA B300 与 GB300 均达到约 150M tokens/s/MW；GB300 在高输出速度段领先（100 tok/s 时约 108M vs 92M），多节点分离式部署后差距预计进一步拉大
- 服务配置优化进展很快：NVIDIA 调优的 SGLang 配置在 B300 单节点上比发布周 cookbook 配置吞吐高约 1.6-1.8 倍（代价是更长首 token 延迟）
- AMD MI355X 达 70M tokens/s/MW（65 tok/s），约为 B200 的 0.9 倍；AMD 10 月 22 日的配方更新使其每兆瓦性能提升约 1.7 倍
团队将持续测试多节点分离式部署，并每周更新榜单。
所属事件:Muse Spark Open 实测：每兆瓦吞吐达 1.5 亿 tokens/s(2 条相关)→
「Infra」频道最新
- Stripe 拟约 75 亿美元收购 OpenRouter,押注 AI 按用量计费 — FinanceYF5 · 2026-10-24
- Reddit 网友反驳本地 AI 唱衰论:推理速度被夸大落后 5 倍 — wojtek15 · 2026-10-24
- NVIDIA 发布 BioNeMo 推理运行时 v0.2，GPU 五阶段管线加速蛋白折叠预测 — AllThingsApx · 2026-10-24
- ISTA-DASLab 发布 DeepSeek-V4.1-Flash 的 GSQ-RCO 量化版 GGUF — Gold_Coconut9777 · 2026-10-24
- Sauers_ 暗讽 OpenAI 用未研究硬件跑多智能体强化学习 — Sauers_ · 2026-10-24
- Reddit 实测：新发布的量化模型普遍不敌几个月前的 DS/Qwen — EmilPi · 2026-10-24