.NET 引擎在 10 张 A40 上跑通 816B MoE 模型

TensorSharp 作者分享用自研 .NET 开源 LLM 推理引擎,在 10 张 A40 上运行 Muse Spark 816B(激活 42B、权重约 316 GiB)MoE 模型的工程经验,并与 llama.cpp 等做对比。实测显示,采用流水线并行的层切分方案在 prefill 阶段比张量并行快 4.6 倍,为多卡跑超大 MoE 模型提供了可行路径。

2026-10-23 ~ 2026-10-23 · 2 条相关

• 816B 巨兽塞进 10 张 A40:层切分 prefill 快 4.6 倍 — fuzhongkai · 2026-10-23
• 816B MoE 跑满10卡实测:流水线并行prefill快4.6倍于张量并行 — fuzhongkai · 2026-10-23