微软完成 MAI-Base-2 预训练:2.8T 总参数,FLOPs 效率超 DeepSeek 4-12 倍
gordic_aleksa · x · 2026-10-16
gordicaleksa 祝贺微软 MAI 团队,并附上官方博客《Frontier Pre-training at Microsoft AI》要点:
- 微软已完成新旗舰基座模型 MAI-Base-2 的预训练:MoE 架构,800 亿激活参数 / 2.8 万亿总参数
- 此前 6 月发布的 MAI-Thinking-1 是在 MAI-Base-1 之上后训练的通用推理模型
- MAI-Base-2 在其 held-out 评测上超越所有测试过的开源权重模型
- 预训练 FLOPs 效率比最强开源基座 DeepSeek-V4-Pro-Base 高 4-12 倍,节省的算力被用于训练更大的模型
- 团队还分享了包括 dropout scaling laws 在内的预训练洞察
这是微软自研前沿模型路线的重要节点,官方放出的 scaling law 经验值得研究者细读。
所属事件:微软官宣 MAI-Base-2:2.8T 参数 MoE 基座模型完成预训练(5 条相关)→
「模型」频道最新
- OpenAI 发布 GPT-Live-1.1:ChatGPT 语音更新增 6 种语言新音色 — AndrewSchmidtFC · 2026-10-16
- GPT-4o API 将于 1 月 14 日彻底关停,权重不开放引社区众怒 — mimi10v3 · 2026-10-16
- Gemini 4 Argon 上线 Antigravity,Pro 订阅独享独立周配额 — rseroter · 2026-10-16
- 博主称 Opus 5.5 性价比高到可能不再所有任务用旗舰模型 — adonis_singh · 2026-10-16
- 马斯克称 Grok Bot 增长史无前例:无免费层却仍高速增长 — elonmusk · 2026-10-16
- Peter Yang:Opus 5.5 很强,但仍难坚持己见扛住反驳 — petergyang · 2026-10-16