开源 Marin 535B-A23B 完成主预训练:18T tokens,下周放 checkpoint
dlwh · x · 2026-11-06
Marin 项目的开源大模型 Mochi 535B-A23B(MoE,激活 23B)于 11 月 5 日上午完成主预训练阶段,共消耗 18T tokens。跟踪页面显示训练全程公开(WandB 日志、loss 曲线、事故记录),期间经历多次梯度尖峰与重启,近期 MFU 提升约 3 个百分点。计划本周末做长上下文训练(目标 262K 输入),下周进行 SFT,如果欧盟相关手续顺利,checkpoint 有望下周发布。
「Infra」频道最新
- SpaceX 数据中心项目承诺：每年数十亿美元级社区回馈 — Scobleizer · 2026-11-06
- 神秘卖家拟抛售 5 亿美元数据中心贷款 — dinabass · 2026-11-06
- Collinear AI 基于 Together 后训练平台快速启动全规模 Agentic RL 训练 — togethercompute · 2026-11-06
- SemiAnalysis:TPUv7 推理每美元性能最高超 B200/B300 达 50% — vllm_project · 2026-11-06
- Meta 总裁：美国新建数据中心将变得非常困难 — SumitGup · 2026-11-06
- 老牌投资人：内存股 P/E 低至 3 也不便宜，LTA 随时可能被客户撕毁 — bookwormengr · 2026-11-06