NVIDIA BioNeMo 优化 MoE 训练,吞吐较 HF 基线最高提升 2.21 倍

NVIDIA BioNeMo 团队针对稀疏 MoE 模型的 GPU 执行效率进行优化,用于加速生物基础模型训练。优化手段包括将多个 expert GEMM 合并为 GroupedLinear 等;在 8 张 B200 GPU 上实测,Mixtral-8x7B 的训练吞吐相比 Hugging Face BF16 基线最高提升 2.21 倍。

2026-09-29 ~ 2026-10-01 · 3 条相关