微软 MAI-Base-2 scaling ladder 预测损失 0.8034,实际 0.8058 仅差 0.0024
zsakib_ · x · 2026-10-17
网友发现微软 AI 团队 MAI-Base-2 博客源码中公开了 scaling ladder 与大训练的中间 checkpoint 验证损失，并晒出一张漂亮的 scaling 曲线图。
图表核心信息：
- 用 L18→L42 五个 ladder 运行拟合出 scaling law L(C)=0.696+0.428·(C/10^20)^(-0.177)，外推 132 倍算力至 2.41×10^25 FLOPs，预测最终 eval loss 为 0.8034。
- MAI-Base-2 实际最终 loss 为 0.8058，与预测仅差 +0.0024，拟合相当精准。
- 训练数据为加权混合：代码 48%、math 15.8%、STEM 15.8% 等。
- 博客还比较了 Huber 拟合与普通最小二乘的差异：后者会低估 α 到 0.158，对应预测 0.767。
所属事件:微软 MAI-Base-2 博客源码泄露 scaling 中间数据(3 条相关)→
「模型」频道最新
- NVIDIA 推出 Fastino 训练 API:按 token 计费做后训练 — NVIDIAAI · 2026-10-17
- F5 用 Nemotron 后训练企业模型:精度持平前沿模型,成本低 40 倍 — NVIDIAAI · 2026-10-17
- 后训练 Nemotron 写 CUDA 内核:KernelBench L2 从 22.8% 提至 82.1% — NVIDIAAI · 2026-10-17
- Mercor 用 APEX 基准定向数据后训练 Nemotron,法律/工程/会计全面提升 — NVIDIAAI · 2026-10-17
- Multiverse 发布 Comet 60B:基于 Nemotron 的开源多模态模型,参数减半 — NVIDIAAI · 2026-10-17
- Mindbeam 发布 Litespark Nemotron:专攻 CUDA 内核生成的开放权重模型 — NVIDIAAI · 2026-10-17