斯坦福开源项目 Marin 535B 模型预训练进度超 80%

斯坦福 Percy Liang 与 David Hall 主导的完全开放科学项目 Marin 宣布，其 535B 总参数、23B 激活的 MoE 模型预训练进度已超过 80%。训练全程在公开环境下进行，团队同时放出了训练 loss 与自家 scaling-law 数据。此外，模型从 4K 到 16K 的上下文切换过程中出现了损失骤降现象，引发关注。

2026-10-26 ~ 2026-10-26 · 2 条相关

• 斯坦福 Marin 开源模型 535B 预训练完成超 80% — stanfordnlp · 2026-10-26
• Stanford Marin 535B-A23B 预训练过 80%，4K→16K 上下文切换现损失骤降 — stanfordnlp · 2026-10-26