Marin 535B-A23B 开源大模型训练进入冷却期：公开数据配比与损失曲线

dlwh · x · 2026-10-24

Marin 开源训练项目公开了 535B 总参数 / 23B 激活的 MoE 模型（18T tokens 目标，8 月 20 日启动）的训练近况与细节，训练进度约 81%，并有公开 tracker 可实时追踪。

关键信息：

已切换到 cooldown 数据配比：增加自然科学研究内容，代码与 agent 对话记录仍占高比例；分类器评出的最高质量桶采样权重从 22.9% 升至 28.0%。
10 月 14 日评测损失的一次下降被查明是上下文从 4K 切到 16K 所致而非模型变强；团队计划训练结束后用旧 4K 长度重评所有 checkpoint，保证外部预测可比。
10 月 22 日两次停机：一次是轮换凭证的主动抢占，一次是训练进程间连接错误（首次自动重启曾失败两次），其余时间无故障运行。
发现训练数据按大块打乱导致训练损失出现短周期波动；逐条重打乱可消除周期并降低评测损失，但收益折算不足一天训练量，团队决定本轮不改。
周报披露训练数据可能未与 118 个 benchmark（含 GSM8K 等）做重叠检查。

「研究」频道最新