NVIDIA 新方案:MoE 训练吞吐最高达 HF 基线 2.21 倍,B200 实测
AllThingsApx · x · 2026-09-29
NVIDIA 技术博客介绍面向生物基础模型的 MoE 高效训练方案(BioNeMo 团队),在 8 张 B200 上对比 Hugging Face BF16 基线,Mixtral-8x7B 训练吞吐最高提升 2.21 倍。
关键技术点:
- GroupedLinear:把多个专家 GEMM 合为一次分组操作提交,避免 Python 循环逐专家启动 kernel 的开销
- MXFP8 块缩放 8-bit 精度:比 BF16 显著省显存,Blackwell GPU 硬件加速
- TE Sequential API 融合:将 GroupedLinear、ScaledSwiGLU 和路由权重缩放融合进单个 ForwardGroupedMLPCuTeGEMMSwiGLUMXFP8 kernel,避免中间结果落显存
作者附注:该工作不含湿实验数据,属训练工程方向。官方建议从 Mixtral Native Transformer Engine recipe 入手尝试。
所属事件:NVIDIA BioNeMo 优化 MoE 训练,吞吐较 HF 基线最高提升 2.21 倍(3 条相关)→
「Infra」频道最新
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16