开源项目 Marin 启动 535B/A23B MoE 大规模训练,进展顺利

BrandoHablando · x · 2026-09-04

Open Athena 社区的开源训练项目 Marin 已启动 535B 总参数 / 23B 激活参数的 MoE hero run,据作者描述几周来进展“几乎无聊地顺利”。作者同时回顾了 Marin 加入 Open Athena 一年来的历程,并发布了一篇长文总结这个全开源前沿规模训练项目如何一步步走到今天。 Marin 是为数不多以开源方式推进前沿规模预训练的项目,535B/A23B 的规模已接近闭源厂商的主力模型量级,其训练数据、代码与过程全部公开,对研究社区有较高参考价值。

所属事件:斯坦福 Marin 启动 535B-A23B 开源巨模训练(5 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →