微软自研 3T 参数 MAI 基座模型曝光
Mustafa Suleyman 宣布微软已完全自研出 3T 参数级别的 SOTA 预训练基座模型(MAI-Base 系列),后训练结果即将公布。技术细节显示,MAI-Base-2 预训练参数规模达 2.8 万亿,动用 16000 块 Nvidia GB200 GPU 训练 38 天完成,训练混合中原生免编码器 VLM 占比 18%,目标是在模型能力上减少对外部依赖。
2026-10-18 ~ 2026-10-19 · 2 条相关
- 第 1 集:微软自研 2.8T 参数 MoE 基座模型 MAI-Base-2 预训练完成(2026-10-16,12 条)
- 第 2 集:传微软 MAI-Base-2 为 2.8T 参数 MoE,1.6 万块 GB200 训练 38 天(2026-10-16,3 条)
- 第 3 集:微软自研 3T 参数 MAI 基座模型曝光(2026-10-18,2 条)
- 微软完成 2.8 万亿参数 MAI-Base-2 预训练:16000 块 GB200 跑 38 天 — emmanuelvivier · 2026-10-18
- 微软 MAI 曝 3T 参数自研基座:原生免编码器 VLM 占训练混合 18% — burny_tech · 2026-10-19