Marin 开源 Mochi 535B-A23B 全部 57 个中间检查点,含 61TB 权重
saurabh_shah2 · x · 2026-11-18
Stanford Marin 项目的 dlwh 宣布开源「Mochi」535B-A23B 预训练模型的全部 57 个中间检查点,其中 10 个来自长上下文扩展阶段,总计训练 18.2T tokens,权重约 61TB,附博客说明。
转帖者以「新模型生物发布了」和 Marin 接棒 OLMO 的接力梗图传播此事——这类全量公开预训练过程(而非只发最终模型)的做法延续了 OLMO 式的完全开源研究传统,方便社区研究训练动态与 scaling 行为。
所属事件:斯坦福 Marin 开源 535B MoE 模型全部 57 个检查点(5 条相关)→
「研究」频道最新
- sokrypton 用 LLM 从接触图预测蛋白质结构,自嘲结构部分只是噱头 — sokrypton · 2026-11-18
- OpenAI 研究:教会模型控制推理风格,CoT 监控分数从 0.94 跌至 0.22 — dair_ai · 2026-11-18
- LLM 直接折叠蛋白质实测:对 2026 年新 PDB 结构结果近乎随机 — MoAlQuraishi · 2026-11-18
- 本科生项目把优化算法最坏情况界转成 Lean 验证证明 — prof_grimmer · 2026-11-18
- 双臂两条 token 流共享词表:机器人操作学习新工作开源 — DJiafei · 2026-11-18
- NUS 提出 BiCAT 双臂协调动作分词器:真机 113/150 成功,推理延迟降 2.7 倍 — DJiafei · 2026-11-18