Marin 535B 预训练复盘：6 人小团队公开直播全程零训练事故
PMinervini · x · 2026-11-10
Percy Liang 转发并推荐 Marin 项目的架构设计复盘博客。Marin 535B-A23B（激活 23B）上周完成 18T tokens 预训练，作者 classiclarryd 详细解释了模型规模、8/384 专家配置、GatedNorm、sconv、XSA、线性学习率等设计决策背后的权衡：时间线、算力效率、MoE 路由稳定性等。
亮点：
- Marin 项目今年初在 Open Athena 只有 6 名全职员工，混合资深 AI 研究者与新手
- 一个月内跑通 B200 GPU 集群，GPU 规模扩到 300 倍，训练 535B 参数模型
- 公开预测训练曲线、全程直播，预训练结果略好于预测且零不稳定事故
所属事件:Marin 535B 完成预训练，架构决策全程公开(2 条相关)→
「公司和人」频道最新
- Anthropic 拟 1.5 万亿美元 IPO,2023 年入职者股票增值 78 倍 — FinanceYF5 · 2026-11-10
- 网友嘲讽谷歌：官宣新模型却先庆功，还没发布就被竞品碾压 — BlackHC · 2026-11-10
- 阿里在智能体电商上领先亚马逊？12 项对比阿里 6 胜 — Scobleizer · 2026-11-10
- 彭博社 AI 编码面试亲历：30 分钟读巨型 Django 代码库仍被拒 — dotey · 2026-11-10
- 剑桥十年走出一代 AI 安全掌门人：FAR AI、METR、UK AISI 皆出其门下 — S_OhEigeartaigh · 2026-11-10
- Fireworks AI 遭入侵，Notion 不到 1% 工作区的 AI 聊天记录泄露 — AccBalanced · 2026-11-10