微软 MAI-Base-2 完成 pretrain:2.8T 总参数 MoE,效率超 DeepSeek-V4-Pro-Base 4-12 倍
NandoDF · x · 2026-10-17
微软 AI 团队(经研究员转发)发布官方博客,宣布完成新一代旗舰基础模型 MAI-Base-2 的预训练:
- 架构:MoE 基础模型,总参数 2.8 万亿,激活参数 800 亿。
- 成绩:在其 held-out 评测上超越所有受测开源权重模型;预训练 FLOPs 效率比最强开源基座 DeepSeek-V4-Pro-Base 高 4-12 倍,节省的算力被用于训练更大的模型。
- 背景:6 月发布的 MAI-Thinking-1 是在 MAI-Base-1 之上做后训练的通用推理模型,MAI-Base-2 是其下一代基座。微软研究员 Hanxiao 评价称「每个模型都是下一个模型的预演,scaling 需要野心和耐心」。
所属事件:微软自研 2.8T 参数 MoE 基座模型 MAI-Base-2 预训练完成(12 条相关)→
「Infra」频道最新
- Reliance 欢迎星链入印度竞争:星链已有1.1万颗卫星,Jio 首发测试要等2027年 — elonmusk · 2026-10-17
- Apple 研究:7B 模型重试 8 次可比肩 32B,内存省 4 倍速度快 6 倍 — CatAstro_Piyush · 2026-10-17
- 研究者尝试三值化让 DeepSeek 跑进单卡 RTX 3090 — casper_hansen_ · 2026-10-17
- MOSS-Image 推出 INT8 量化版与 SFT 条带伪影修复 LoRA — tomByrer · 2026-10-17
- 在 C64、486 DOS 和任天堂 Wii 上跑语言模型的极客移植 — Awacer · 2026-10-17
- 买卡、租卡还是调 API?关键就看你的实际 GPU 利用率 — Dizzy_Lingonberry947 · 2026-10-17