斯坦福 Marin 开源训练推进：535B-A23B 模型已跑至 65K 上下文

StanfordAILab · x · 2026-11-04

Percy Liang 预告斯坦福开源训练项目 Marin 的 535B-A23B（MoE，激活约 23B）模型已扩展到 65K 上下文，并配出训练交叉熵损失曲线。

图中对比了多种配置的训练损失：65K/16K 上下文、不同数据配比（old mix / new mix）、H100 与 GB200 等不同硬件、d512-d2048 多种规模，以及 MoE 优化栈、gradient clipping、padding routing、Ragged A2A EP、PDL off 等一系列消融实验。新数据配比与优化栈组合的曲线明显低于原始基线，最终损失降至约 1 附近。项目方称「倒计时中」，暗示模型发布临近。