斯坦福 Marin 开源 535B-A23B 模型全部 57 个中间检查点,含 10 个长上下文版

samsja19 · x · 2026-11-18

斯坦福 Marin 项目(dlwh 发布,被 samsja19 转发)宣布开源「Mochi」535B-A23B 预训练的全部 57 个中间检查点,其中包括 10 个来自长上下文扩展阶段,总计训练 18.2T tokens,权重约 61 TB。

这类全量检查点开源对预训练研究极为珍贵:研究者可以逐点分析训练动态、学习率与数据配比的影响、能力涌现的时间线,而无需自己烧卡训练。博客与下载链接已在项目页面公布。

所属事件:斯坦福 Marin 开源 535B MoE 模型全部 57 个中间检查点(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →