NVIDIA BioNeMo 优化 MoE 训练,吞吐较 HF 基线最高提升 2.21 倍
NVIDIA BioNeMo 团队针对稀疏 MoE 模型的 GPU 执行效率进行优化,用于加速生物基础模型训练。优化手段包括将多个 expert GEMM 合并为 GroupedLinear 等;在 8 张 B200 GPU 上实测,Mixtral-8x7B 的训练吞吐相比 Hugging Face BF16 基线最高提升 2.21 倍。
2026-09-29 ~ 2026-10-01 · 3 条相关
- BioNeMo 团队优化稀疏模型训练:Mixtral 吞吐提升 2.21 倍 — AllThingsApx · 2026-09-29
- NVIDIA 新方案:MoE 训练吞吐最高达 HF 基线 2.21 倍,B200 实测 — AllThingsApx · 2026-09-29
- NVIDIA BioNeMo 实测:MoE 生物基础模型训练吞吐最高提升 2.21 倍 — AllThingsApx · 2026-10-01