开源阵营 Marin 启动 535B/23B MoE 巨型预训练,全程公开可追踪
dlwh · x · 2026-09-03
Open Athena 的 Marin 项目启动年度收官训练:总参数 535B、激活 23B 的 MoE 模型，计划在 18 万亿 token（含 agentic、代码与科学数据）上预训练约 3 个月，架构、数据与损失预测全程在 GitHub 公开。
- 已上线三周，「无聊地顺利」，损失曲线贴合预测
- Delphi scaling 系列：训练至 1e23 FLOPs，可预测 300 倍大模型性能，误差 0.2% 以内
- Marin MoE V1（129B 总参/16B 激活）达到注册损失预测的 1% 以内，TPU v4 上对 dense 方案实现 6.7 倍理论（3.6 倍实际）加速
- 自研 Iris 全球算力调度器与 DataKit 数据配比系统
- 即将发布 Snowball：67B-A2B MoE，10T token 训练，扩展至 262K 上下文并配有端到端后训练流水线
- 一年内团队从 1 名全职扩张到 10 人
所属事件:Open Athena 开训 535B 参数 MoE 模型 Marin 全程公开(2 条相关)→
「Infra」频道最新
- E2B 沙箱跑 RL rollout 快 3 倍,砍掉 GPU 空转成本 — badphilosopher · 2026-09-04
- OpenAI、Anthropic、xAI、Slack、Google Docs 同时宕机 — mertdumenci · 2026-09-04
- 推理实验室 Uzu 发布投机解码实现,首发支持 Qwen3.6 27B — awnihannun · 2026-09-04
- NVIDIA 发力本地 AI：新 llama.cpp 优化提速 1.9 倍,RTX Spark 10 月上市 — nordicinst · 2026-09-04
- VPIPE 不止快视频：M5 Pro 本地跑 Krea 2 生图仅约 45 秒 — TgoAI · 2026-09-04
- ngrok 推出 AI Gateway:一个 URL 统一路由云端与本地模型 — anthara_ai · 2026-09-04