Marin 开放 535B MoE 全部 57 个中间检查点,含 18.2T tokens 训练曲线
dlwh · x · 2026-11-18
Marin 项目的「Mochi」535B-A23B(MoE,每 token 约 22.76B 激活参数)预训练模型在 Hugging Face 上开放了全部 57 个中间检查点,总权重约 61 TB。
- 训练共消耗 18.2T tokens,检查点从 step 6000 覆盖到 step 393491
- 包含 10 个长上下文扩展阶段检查点:从 4K/16K 逐步扩展到 65K,最后阶段(step 390500 起)达 262K 上下文,并使用 GrugMoe artifact schema 3
- 配图展示了完整训练交叉熵曲线:可见 step 108000(约 4.98T tokens)处有一次数据配比切换,长上下文各阶段损失平稳
- 每个检查点为 BF16 纯权重导出,含 193 个 safetensors 分片,已逐一校验;不含优化器状态,推理需 Marin 的 vLLM fork 支持
团队定位其为「研究工件」,未经完整安全与评测验证,生产环境慎用。
「模型」频道最新
- ARC-AGI-3 评测方详解 provider adapter:各家模型用自家推荐配置跑分 — mhmazur · 2026-11-18
- Marin 开源 535B 参数预训练中间检查点,坦承基准污染未能清除 — dlwh · 2026-11-18
- 微软 Decision-1.1 上线 Vercel AI Gateway,输出结构化决策更准更快 — marlene_zw · 2026-11-18
- 实测对比:GPT-6.2 Sol 体素生成多数倒退,但速度快很多 — Angaisb_ · 2026-11-18
- Karpathy:谷歌模型未蒸馏竞品,全栈独一档将试 Antigravity — beffjezos · 2026-11-18
- SpaceX CFO 力捧 Grok Bot:可能是最佳 Agent AI 方案 — XFreeze · 2026-11-18