斯坦福 Marin 开训 535B-A23B 开源模型：18.75T tokens、2.7e24 FLOPs、约 3 个月
burny_tech · x · 2026-09-07
Percy Liang 宣布 Marin 535B-A23B 本周开训，全程公开：预训练(80%) + 中期训练(20%)，共 18.75T tokens，使用 11 台 GB200 NVL72，预计约 3 个月、2.7e24 FLOPs，后续将做 post-training。启动前团队先训练了从 1.6B-A61M（48B tokens）到 27.7B-A1.2B（926B tokens）的四档 scaling ladder，用于调试问题并对主训练做预测——这是迄今最大的 run，团队也预期会有意外。转发者 NicholasBardy 观察到：大模型在训练早期 y 轴斜率非常陡峭，而曲线其余部分相对平坦，「感觉我们漏掉了什么」。
所属事件:斯坦福 Marin 开源训练 535B 模型，进度已达 13%(2 条相关)→
「Infra」频道最新
- Nvidia 指引 FY28 营收 6910 亿美元，非大客户业务年增 100% — Beth_Kindig · 2026-09-07
- Mike Frank：AI 擅长可逆计算的纯理论，但工程才是硬门槛 — MikePFrank · 2026-09-07
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-09-07
- Wan2GP AMD 版上架 Pinokio：RDNA2 起全系支持 — cocktailpeanut · 2026-09-07
- 晒一屋子硬件跑 OpenClaw，作者自嘲又造了一波 rage bait — HankYeomans · 2026-09-07
- 谷歌称高性能内存已占 AI 服务器物料成本 75% 以上 — Beth_Kindig · 2026-09-07