开源项目 Marin 的 Mochi 535B 完成 18T token 预训练

teortaxesTex · x · 2026-11-06

开源 LLM 训练项目 Marin 宣布其旗舰模型 Mochi 535B-A23B（MoE 架构）完成主预训练阶段，8 月 20 日启动，共消耗 18T token，最终 Paloma 宏观 eval loss 为 1.960，train loss 0.955。

接下来的计划：本周末加入长上下文，未来一两周进行 SFT，若欧盟相关手续办完，下周有望发布 checkpoints。训练全程 39 万步，中途经历多次手动/自动恢复的崩溃，并经过 mixture 调整、16K 上下文、cooldown mix 和 65K 上下文等阶段。社区评价其为当前最令人兴奋、最雄心勃勃的开源 LLM 训练项目。