Marin 开源 535B 大模型预训练超 80%，loss 优于预测

开源研究项目 Marin 的 535B 总参数、23B 激活 MoE 模型(目标训练 18T tokens,8 月 20 日启动)预训练进度已达约 81%,并公开了数据配比与损失曲线。进入最后阶段后切换到 cooldown 数据配比，将自然科学研究内容采样权重从 6.9% 上调，代码与 agent 对话记录仍占较高比重。作者贴出的 held-out loss 曲线整体低于 scaling ladder 预测线，表现好于预期，但作者也坦言这一优势并不代表最终一定更强。

2026-10-24 ~ 2026-10-24 · 4 条相关

• Marin 535B 预训练完成超 80%,loss 低于 scaling 预测线 — dlwh · 2026-10-24
• Marin 535B 最后阶段换 cooldown 配比,科学数据权重上调 — dlwh · 2026-10-24
• Marin 535B-A23B 开源大模型训练进入冷却期：公开数据配比与损失曲线 — dlwh · 2026-10-24
• Marin 535B 预训练完成逾 80%，loss 走势优于 scaling 阶梯预测 — dlwh · 2026-10-24