Marin 开源 535B MoE 模型全部 57 个中间检查点

Marin 项目在 Hugging Face 发布「Mochi」535B-A23B 预训练模型(MoE 架构,每 token 约激活 22.76B 参数)的全部 57 个中间检查点,涵盖 18.2T tokens 的训练曲线。该集合来自 Hero 预训练运行,未做指令微调与安全后训练。团队同时坦承基准污染问题未能清除,数据完全开放供研究使用。

2026-11-18 ~ 2026-11-18 · 3 条相关