曝微软 MAI-Base-2 为 2.8T MoE,1.6 万块 GB200 训练 38 天
流传的配置表与微软披露显示,新一代基座模型 MAI-Base-2 为 2.8T 总参数、80B 激活的 MoE 架构(每层均有 MoE,1 shared + 7/512 routed)。该模型于 2026 年 8-9 月在 1.6 万块 GB200 GPU 上训练 38 天,平均 MFU 仅 21%。
2026-10-16 ~ 2026-10-16 · 2 条相关
- 第 1 集:微软官宣 MAI-Base-2:2.8T 参数 MoE 基座模型完成预训练(2026-10-16,5 条)
- 第 2 集:曝微软 MAI-Base-2 为 2.8T MoE,1.6 万块 GB200 训练 38 天(2026-10-16,2 条)
- 曝微软 MAI-Base-2 用 1.6 万张 GB200 训练 38 天,2.8T 参数 MoE — scaling01 · 2026-10-16
- 微软 MAI-Base-2 用 1.6 万块 GB200 训练 38 天,MFU 仅 21% — scaling01 · 2026-10-16