816B 巨兽塞进 10 张 A40:层切分 prefill 快 4.6 倍
fuzhongkai · reddit · 2026-10-23
作者用自研 .NET 推理引擎 TensorSharp 在 10 张 A40 上跑通 Muse Spark 816B(42B 激活,权重约 316 GiB),并与 llama.cpp 对比,得出一个反直觉结论:prefill 阶段层切分远快于张量并行。
关键数据
- 层切分:4K prefill 999.7 tok/s(为 llama.cpp 的 2.07 倍),16K prefill 1346.8 tok/s,decode 16.7 tok/s
- 张量并行:decode 22.6 tok/s、4 并发 45.7 tok/s,但 prefill 仅约 295 tok/s——两种策略在 TensorSharp 内部相差 4.6 倍 prefill 吞吐
- 原因:该 MoE 每个专家输出需归一化后聚合,张量并行要通信单个专家输出,all-reduce 流量大增;在无 P2P 的 PCIe 系统上通信成瓶颈
- 质量校验:WikiText-2 上 12276 条 teacher-forcing 预测,与 llama.cpp 的 top-1 一致率 98.8% 左右,困惑度几乎一致
注意:llama.cpp 的 NCCL 构建在该机器上失败,其张量并行数据用的是非 NCCL 实现,对比并非完全公平。结论:对超大 MoE 模型,尤其在 PCIe-only 系统,张量并行并非自动最优。
所属事件:.NET 引擎在 10 张 A40 上跑通 816B MoE 模型(2 条相关)→
「Infra」频道最新
- SGLang 系列深度博客:KV Cache 技术拆解与最新性能优化 — BanghuaZ · 2026-10-23
- 开源 DynaLM：不依赖 GPU 的 CPU 优先 LLM 推理引擎 — Unlikely_Safety_7456 · 2026-10-23
- 资本成 AI 扩建新瓶颈，黄仁勋称新云需求「爆表」 — JOBhakdi · 2026-10-23
- Cerebras 揭秘:如何在晶圆级芯片上部署 2T+ 参数万亿模型 — bookwormengr · 2026-10-23
- IFM 团队开源 RL360：支撑 K2 Horizon 训练的大规模 Agent RL 基础设施 — rupspace · 2026-10-23
- 黄仁勋回应 NeoCloud 融资担忧：需求高企，营运资本自会到位 — inductionheads · 2026-10-23