816B MoE 跑满10卡实测:流水线并行prefill快4.6倍于张量并行
fuzhongkai · reddit · 2026-10-23
TensorSharp(.NET 开源 LLM 推理引擎)作者分享了在 10 张 A40 上运行 Muse Spark 816B(激活 42B)MoE 模型的工程经验:
1. 长上下文 prefill 用流水线并行更快
- 16K prompt prefill:层切分流水线 1,346.8 tok/s vs 张量并行 295.2 tok/s,4.6 倍
- 但单请求解码张量并行快 35.6%,4 并发聚合吞吐高 35.9%
2. MoE 架构让通信优化更关键:该模型对每个专家输出先归一化再聚合,导致 all-reduce 必须传单个专家输出而非最终和,通信量约增 8 倍;PCIe 无 P2P 时成为瓶颈。结论:最优并行策略取决于模型内部计算与通信模式。
3. 原生整模型执行消除瓶颈:从逐算子托管执行(1.9-2.4 tok/s)切换到 ggml meta backend 原生执行,解码升至 22.63 tok/s,9-12 倍提升;降低执行开销与优化 kernel 同样重要。
4. 绕过 CUDA 8 卡 peer 限制:10 卡机器触发 cuMemSetAccess 的 8-peer 上限,作者封装该调用、将受影响内存池设为 GPU 私有、必要时禁用 P2P,无需改上游 ggml 即跑满 10 卡。
所属事件:.NET 引擎在 10 张 A40 上跑通 816B MoE 模型(2 条相关)→
「编程与Agent」频道最新
- CA 密钥泄露波及 Python 生态，官方紧急敦促更新 pip 与 certifi — VeryWellVersed · 2026-10-23
- DeepSeek 开源 V4.1-Flash-1017:Terminal-Bench 从 31.2 跳到 42.3 — petrusenko_max · 2026-10-23
- DeepSeek 开源 V4.1-Flash-1017：Terminal-Bench 从 31.2 跳到 42.3 — petrusenko_max · 2026-10-23
- Orgtree v4.4 发布:Projects 用信箱队列与并发槽让 AI 智能体协作像并发编程 — DynaBeast · 2026-10-23
- Index Network 开源「社交发现协议」：agent 替你谈判，双方都点头才算连接 — carsonfarmer · 2026-10-23
- 装了个形式化验证 skill：装上 Java、电脑烫 10 度，竞态条件「不存在了」 — zealcaiden · 2026-10-23