Marin 开源 Mochi 535B-A23B 完成 18T token 主预训练
Marin 项目的开源大模型 Mochi 535B-A23B 于 11 月 5 日上午完成主预训练阶段,共消耗 18T tokens,最终 Paloma 宏观 eval loss 为 1.960。团队计划本周末进行长上下文训练,随后约一周内开展 SFT,checkpoint 预计下周发布。已确认
- 模型为 MoE 架构,总参数 535B,激活 23B,训练于 8 月 20 日启动,11 月 5 日完成主预训练,共消耗 18T tokens,最终 Paloma 宏观 eval loss 为 1.960
- 训练全程公开:WandB 日志、loss 曲线与事故记录均可在线跟踪,期间经历多次事故但未出现 loss spike
- 团队主要调整 kernel 与优化器动态来提速
- 后续计划:本周末做长上下文,未来一两周进行 SFT,checkpoint 计划下周发布;@giffmana 提到发布前需先完成欧盟相关合规手续
为什么重要
- 这是一个完全公开训练过程的大规模开源模型项目,WandB 日志与事故记录全程可查,为社区提供了罕见的训练透明度样本
- 训练全程未出现 loss spike,团队把提速手段集中在 kernel 与优化器动态调整上,这些公开经验对其他开源训练项目有参考价值
2026-11-06 ~ 2026-11-06 · 5 条相关
一手来源
- 【源头】开源 Marin 535B-A23B 完成主预训练:18T tokens,下周放 checkpoint — dlwh · 2026-11-06
另有 4 条近重复转述:DZhang50 · dlwh · teortaxesTex · giffmana