Microsoft AI 公开 2.8T 模型训法:小模型阶梯实验预测大模型
hboelman · x · 2026-10-16
Microsoft AI 新实验室笔记介绍 MAI-Base-2(2.8 万亿参数)的实验方法论:大模型实验无法跑上百次,因此用一阶梯式的小模型(逐级放大、配方相同)来预测大模型的表现。
一个关键细节:小模型实验按大模型将要重复数据的相同比例重复数据,使小规模测试尽可能模拟真实训练条件。该笔记还涉及 base models、MoE、效率改进、一次稳定性修复发现的 bug,以及数据来源等。作者还写了一份带插图的通俗版解读指南。
所属事件:微软官宣自研 3T 参数基座模型 MAI-Base-2 预训练完成(8 条相关)→
「模型」频道最新
- Elie Bakouch：中国开源模型牌照新规更可能是激励而非终结 — eliebakouch · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Opus 5.5 发布近月仍领先,但开源决策模型正在追赶 — airesearch12 · 2026-10-16
- Google 削减权益：Google Plus 订阅的 Pro 模型额度也被限制 — EmergencyLess8861 · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta 开源 Muse Spark Open：两台 Mac Studio 就能跑，许可证禁止冒充人类创作 — mawcopolow · 2026-10-16