Marin 535B 模型启动全透明训练，公开 FLOPs 与配置
_ScottCondron · x · 2026-08-23
Marin 项目启动了迄今为止规模最大的开源模型训练：535B 参数（Active 23B）。该项目以极高的透明度公开了训练全过程：
- 算力配置：使用 11 台 GB200 NVL72 集群。
- 训练计划：预训练 80% + 中间训练 20%，总计 18.75T tokens，预计耗时 3 个月，计算量为 2.7e24 FLOPs。
- 透明度：可视化展示各领域的预训练混合比例、采样文档、实时训练损失、配置详情及缩放定律。
在启动主训练前，团队通过从 1.6B 到 27.7B 的 4 级缩放梯子进行了调试和预测。
所属事件:斯坦福 Marin 启动 535B 模型全透明训练并开源 23T token 数据(7 条相关)→
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16