Marin 开源 Mochi 535B-A23B 全部 57 个中间检查点,含 61TB 权重

saurabh_shah2 · x · 2026-11-18

Stanford Marin 项目的 dlwh 宣布开源「Mochi」535B-A23B 预训练模型的全部 57 个中间检查点,其中 10 个来自长上下文扩展阶段,总计训练 18.2T tokens,权重约 61TB,附博客说明。

转帖者以「新模型生物发布了」和 Marin 接棒 OLMO 的接力梗图传播此事——这类全量公开预训练过程(而非只发最终模型)的做法延续了 OLMO 式的完全开源研究传统,方便社区研究训练动态与 scaling 行为。

所属事件:斯坦福 Marin 开源 535B MoE 模型全部 57 个检查点(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →