Marin 535B-A23B 完成 18T token 预训练，架构决策全文公开

ChengleiSi · x · 2026-11-10

Open Athena 的 Marin 项目公开了 Marin 535B-A23B（激活 23B/总 535B 的 Latent MoE）的完整架构决策复盘。模型已于 11 月 5 日在 18T token 上完成预训练，全程直播、公开预测，零训练不稳定。

项目规模：团队仅 6 名全职员工，一个月内跑通 B200 GPU 集群，GPU 规模较起步放大 300 倍。作者指出两年前首次大规模训练不可能这么顺利，公开生态（Llama、DeepSeek、Qwen、Gemma、OLMo、Cohere、Nemotron、Arcee 等发表的工作）是关键。

架构要点：

48 层、hidden 6144 的浅宽架构（宽深比 128），无前置 dense 层，每层都是 MoE：8/384 专家 + 2 共享专家，Latent MoE 2x 压缩
3:1 局部滑窗（2048）/全局注意力，GQA + gated attention，局部半 RoPE、全局 NoPE
Sigmoid router，top-k 权重重归一化到 2.5；Muon/Hyperball 优化器，1% warmup 后线性衰减至 5%
特色组件：Latent RMSNorm 可学习增益、GatedNorm、独占自注意力（XSA）、QK RMSNorm（固定 1.3）、kernel=4 短卷积、基于原始 logits 的 Top-k Quantile Balancing
逐步 loss 曲线标注了 ragged all-to-all EP 切换、数据配比两阶段更新、4k→16k→65k 上下文扩展

「Infra」频道最新