NVIDIA 用 NVFP4 预训练 120B/550B MoE，关键层保留 BF16
Nouamanetazi · x · 2026-11-06
MoE 手册探讨能否直接用 4-bit 预训练大型 MoE：NVIDIA 在 NVFP4 下用 25T tokens 训练了 Nemotron 3 Super（120B 总参/12B 激活），用 20T tokens 训练 Nemotron 3 Ultra（550B/55B 激活），但保留网络最后 15%、注意力投影和嵌入层为 BF16。配图展示 DeepSeek 的 FP8 精度分配方案。
所属事件:Hugging Face 耗数十万 GPU 小时发布免费 MoE 训练手册(20 条相关)→
「Infra」频道最新
- Dolphin Networks 实测:DeepSeek-V4.1 Flash 在 PCIe 卡上吞吐提升 3.8 倍 — AlpinDale · 2026-11-06
- 律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存 — TumbleweedNew6515 · 2026-11-06
- Hyperkernel 递归生成 megakernel,11 个领域 SOTA 并开源 — MillionInt · 2026-11-06
- 马斯克:2-3 年内太空将成为运行超智能成本最低之地 — XFreeze · 2026-11-06
- 前微软员工揭秘：Azure 每 4 天新建一座数据中心 — viksit · 2026-11-06
- 神秘卖家拟一次性抛售5亿美元数据中心贷款,涉OpenAI Stargate项目 — SumitGup · 2026-11-06