Marin 启动 535B-A23B 开放训练：18.75T tokens、11 组 GB200 跑约 3 个月
_ScottCondron · x · 2026-08-23
Percy Liang 团队的 Marin 宣布本周开始训练 535B 参数（激活 23B）模型，全程开放。计划在 11 台 GB200 NVL72 上用约 3 个月（2.7e24 FLOPs）完成预训练 80% + 中期训练 20%，共 18.75T tokens，之后进行后训练。开工前团队先跑了从 1.6B-A61M（48B tokens）到 27.7B-A1.2B（926B tokens）的 4 级 scaling 阶梯实验，用于排障并对主训练做出预测。这是 Marin 迄今最大规模的一次训练。
所属事件:斯坦福 Marin 启动 535B 模型全透明训练并开源 23T token 数据(7 条相关)→
「研究」频道最新
- 把快程序编译成慢神经网络？开发者吐槽这类实验实用价值存疑 — ctjlewis · 2026-10-16
- 新论文提出用显示偏好法辨析 AI Agent 合作的动机 — brwilder · 2026-10-16
- 用 logit lens 透视 Beat Saber 微调模型：音符生成复用语言语法回路 — ctjlewis · 2026-10-16
- 128×128 记录难破：中间步骤实验如何预言了推理模型 — ctjlewis · 2026-10-16
- TeamFusion 研究:用偏好代理互搏替代 AI 总结,保住团队少数派声音 — burkov · 2026-10-16
- MIT 推出 C-GMT:人形机器人全身柔顺响应,不再硬抗外力 — MIT_CSAIL · 2026-10-16