微软官宣 MAI 3T 参数自研基座模型：80B 激活、50T token 训练细节公开
SinclairWang1 · x · 2026-10-16
- Mustafa Suleyman 官宣：微软 MAI 团队完全自研的 3T 参数权重级预训练基座模型已达到 SOTA，后训练结果即将公布，并附技术博客。
- Elie Bakouch 的技术解读：该模型比 Kimi K3 更稀疏（激活参数 80B vs 104B），采用相同的滑窗混合注意力模式，但滑窗层 KV 头更多；加入 shared expert，并移除了 MAI 1 的 MoE/Dense 交错模式。
- Scaling ladder 机制与 MAI 1 类似，每一档只取决于层数；关键改进是保证小档位数据分布与最终语料的重复模式一致。配图显示 MAI-Base-2 训练语料从 30T 扩到 50T，代码占 45%，预测值与实际最终损失几乎重合。
所属事件:微软自研基座模型 MAI-Base-2 亮相,2.8T 参数预训练效率超 DeepSeek(3 条相关)→
「Infra」频道最新
- Together AI 上线 Muse Spark Open 推理:面向 agentic 编码与多模态负载 — togethercompute · 2026-10-16
- 马斯克官宣:SpaceX 与 Nvidia 共研太空数据中心,明年量产 — elonmusk · 2026-10-16
- 发布仅 30 分钟,Muse Spark Open 已可在 MLX 上本地运行 — pcuenq · 2026-10-16
- 分析师将台积电财报与 WFE、功耗预测交叉建模 — BenBajarin · 2026-10-16
- Vercel Drives 正式发布:给 Agent 配上跨环境持久化存储 — evilrabbit_ · 2026-10-16
- Meta Muse Spark Open 上架 SageMaker：816B 编程模型含 NVFP4 量化版 — AWS ML Blog · 2026-10-16