曝微软 MAI-Base-2 用 1.6 万张 GB200 训练 38 天，2.8T 参数 MoE
scaling01 · x · 2026-10-16
流传的配置表显示微软新一代基座模型 MAI-Base-2 为 2.8T 总参数 / 80B 激活的 MoE（每层均有 MoE，1 shared + 7/512 routed），102 层，训练 50T tokens，原生视觉多模态，采用 Muon 优化器（非嵌入 2D 参数）+ MXFP8 E4M3，据称于 2026 年 8-9 月用 1.6 万张 GB200 训练了 38 天。scaling01 借此强调：预训练一个前沿模型并不需要很长时间，且这算力规模只相当于头部实验室的零头。表格还对比了上一代 MAI-Base-1（35B/1T、30T tokens、AdamW、纯文本）。
所属事件:曝微软 MAI-Base-2 为 2.8T MoE，1.6 万块 GB200 训练 38 天(2 条相关)→
「Infra」频道最新
- llama.cpp v0.7.0 发布:MoE 专家 GPU 缓存使解码最快提速 2.2 倍 — EAccelerate_42 · 2026-10-16
- NVIDIA 发布 Nemotron 3.5 Bolt：74B 模型塞进 24GB 显存 — NVIDIAAI · 2026-10-16
- Creative Strategies 发布 CS Forecast Stack：19 个模型联动预测 AI 全经济栈 — BenBajarin · 2026-10-16
- 铜转光：机架级光背板成 AI 数据中心下一步设计刚需 — BenBajarin · 2026-10-16
- Polymarket 开出 28% 概率：年内将有美国州级数据中心禁令落地 — Polymarket · 2026-10-16
- 宾州居民拒绝每户 1 万美元补偿，抵制亚马逊大型数据中心进驻 — Polymarket · 2026-10-16