斯坦福 Marin 启动 535B 模型全透明训练并开源 23T token 数据
斯坦福 CRFM/NLP 的 Marin 项目（Percy Liang 团队）近期有两项关键动作：一是公开约 23 万亿 token 的预训练数据，二是启动 535B 参数 MoE 模型的全程透明训练。这是开放科学在 frontier 规模上的一次少见尝试，为社区提供了可复现、可实时围观的一手素材。
已确认
- Marin 开源了约 23 万亿 token 的预训练数据，可通过 S3 存储桶公开下载；数据集组成、模型架构、基础设施与内核细节均发布在 GitHub，训练过程可在 wandb 上实时观看（@joecole 转述）。
- 团队本周开始训练 535B-A23B（总参数 535B，激活 23B）模型，采取全开放模式：预训练占 80%、中期训练占 20%，合计约 18.75T tokens、2.7e24 FLOPs（@ScottCondron、@ysunlp、@soumitrashukla9 等多条帖子转述一致）。
- 硬件配置为 11 组 GB200 NVL72 集群，预计耗时约 3 个月。@stanfordnlp 补充该模型为 MoE 架构。
- 正式运行前，团队已通过 1.6B 起步的小规模实验逐步验证（@ysunlp 转述）。
为什么重要
- 主流大模型极少公开预训练数据全貌，Marin 把 23T token 数据、训练代码与基础设施细节全部开放，为社区提供了可复现、可研究的一手素材。
- 535B 级模型以完全透明、可实时围观的方式训练，且披露了 token 数、FLOPs、集群规模等具体数字，是开放科学在 frontier 规模上的一次少见尝试。
2026-08-22 ~ 2026-08-24 · 7 条相关
- 第 1 集:斯坦福 Marin 启动 535B 模型全透明训练并开源 23T token 数据(2026-08-22,7 条)
- 第 2 集:斯坦福 Marin 开源训练 535B 模型，进度已达 13%(2026-09-05,2 条)
- Marin 535B 模型启动训练，全程透明开源 — ysu_nlp · 2026-08-22
- 斯坦福启动 535B 模型 Marin 训练，全流程开源 — soumitrashukla9 · 2026-08-22
- Marin开源23万亿token预训练数据，可公开下载 — joecole · 2026-08-22
- Marin 535B 模型启动全透明训练，公开 FLOPs 与配置 — _ScottCondron · 2026-08-23
- 斯坦福 Marin 535B 模型开训，全程公开 — udmrzn · 2026-08-24
另有 2 条近重复转述:stanfordnlp · _ScottCondron