Marin 535B-A23B 架构决策复盘：18T token 训练的全记录
StasBekman · x · 2026-11-13
Marin 535B-A23B（18T token 预训练，MoE 激活 23B）发布架构决策技术笔记，包含大量训练曲线图与决策记录，供训练模型的人学习。架构要点：
- Latent MoE：384 专家中激活 8 个（2× 压缩），2 个共享专家，SwiGLU
- 注意力：3:1 滑动窗口(2048)/全局注意力混合，GQA + 门控注意力；局部用 50% 部分 RoPE，全局用 NoPE
- Muon 系优化器：Hyperball 变体（矩阵用 MuonH，lmhead 用 AdamH）
- 特色组件：Exclusive self-attention（XSA）、核大小 4 的短卷积、Top-k Quantile Balancing 路由、6144 hidden/48 层的浅而宽设计（宽深比 128）、无前置稠密层
- 附完整 18T 训练的逐步 loss 曲线，标注了 EP 切换、数据配比更新与 4k→16k→65k 上下文扩展节点
「Infra」频道最新
- 微软宕机原因确认：变更验证致大量服务器失去响应 — Kyrannio · 2026-11-13
- 算力从未免于过剩：转发者称不懂数周期的人是在捐赠 — McDonaghMatthew · 2026-11-13
- AWS 实测 Bedrock 省钱四参数：缓存 TTL、Flex 档、思考力度与 maxTokens — AWS ML Blog · 2026-11-13
- Cloudflare Workers 限流 API 升级：一次调用可消耗多个额度单位 — ritakozlov · 2026-11-13
- RL 圈讽喻热帖：解耦生成与训练并非免费吞吐，staleness 不是舍入误差 — willcb · 2026-11-13
- 开源 WakeGPU:把 Colab 远程 GPU 变成自动待机关停的本地生成工作室 — Far-Ad9512 · 2026-11-13