NVIDIA BioNeMo 实测:MoE 生物基础模型训练吞吐最高提升 2.21 倍
AllThingsApx · x · 2026-10-01
NVIDIA 技术博客介绍如何用 BioNeMo 配方加速生物基础模型的 MoE 训练:
- GroupedLinear:将多个 expert GEMM 合为一次 grouped 操作提交,消除 Python 循环逐 expert 启动 kernel 的开销。
- MXFP8 8-bit 块缩放精度:相比 BF16 显著省内存,Blackwell GPU 硬件加速。
- Sequential API 融合:把 GroupedLinear、ScaledSwiGLU 与路由权重缩放融合为单一 kernel,避免中间物化。
- 实测:在 8 张 B200 上,吞吐量最高达 Hugging Face 基线的 2.21 倍。
博客附 Mixtral Native Transformer Engine 配方,可直接照做训练 MoE 生物模型。
所属事件:NVIDIA BioNeMo 优化 MoE 训练,吞吐较 HF 基线最高提升 2.21 倍(3 条相关)→
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16