Marin 开源 535B MoE 模型全部 57 个中间检查点
Marin 项目在 Hugging Face 发布「Mochi」535B-A23B 预训练模型(MoE 架构,每 token 约激活 22.76B 参数)的全部 57 个中间检查点,涵盖 18.2T tokens 的训练曲线。该集合来自 Hero 预训练运行,未做指令微调与安全后训练。团队同时坦承基准污染问题未能清除,数据完全开放供研究使用。
2026-11-18 ~ 2026-11-18 · 3 条相关
- Marin 开放 535B MoE 全部 57 个中间检查点,含 18.2T tokens 训练曲线 — dlwh · 2026-11-18
- Marin 开源 535B 参数预训练中间检查点,坦承基准污染未能清除 — dlwh · 2026-11-18
- 斯坦福 Marin 开源 535B-A23B 模型全部 57 个中间检查点,含 10 个长上下文版 — samsja19 · 2026-11-18