Marin 开源模型 Mochi 535B-A23B 完成 18T token 预训练,下周放 checkpoint

dlwh · x · 2026-11-06

Marin 项目宣布其开源 MoE 模型 Mochi(535B 总参数/23B 激活)完成主预训练阶段,共训练 18T token,全程直播训练曲线且未出现 loss spike,团队主要调整 kernel 与优化器动态来提速。作者 Will Held 在 Open Aurora 社区 meetup 的长文中复盘了预训练全过程。接下来计划:本周末做长上下文训练,约一周后进行 SFT,处理完欧盟合规手续后下周发布 checkpoint。文章还讨论了 Marin 的初衷:模型商业化程度越高,外界对其训练细节了解越少,项目希望通过公开透明的大规模训练填补这一空白。