开源项目 Marin 的 Mochi 535B-A23B 完成预训练，用掉 18T tokens
giffmana · x · 2026-11-06
Marin 项目宣布其 Mochi 535B-A23B 模型已完成主预训练阶段，共消耗 18T tokens。接下来本周末做长上下文，随后一两周进行 SFT，计划下周发布 checkpoints，此前需先完成欧盟相关合规手续。
此前社区曾在 X 上围绕该 run 与更小规模 run 的损失曲线是否交叉展开争论，giffmana 呼吁作者放出更新版曲线图以解悬念。
所属事件:Marin 开源 Mochi 535B-A23B 完成 18T token 主预训练(5 条相关)→
「模型」频道最新
- ValsAI 曝多家前沿实验室模型存在高危安全对齐漏洞，已秘密通报 — rickasaurus · 2026-11-06
- mlpowered 补充论证:残差态梯度回传使远期预测信息得以编码 — mlpowered · 2026-11-06
- ML 工程师驳 antirez:最后 token 的残差态并非只为下一 token 优化 — mlpowered · 2026-11-06
- 用 RPG 撒谎游戏给各家 AI 测谎,ChatGPT 对决 Claude — ownworldman · 2026-11-06
- Kimi K3.1 Pro 上线 TPU:2.8 万亿参数 MoE 获得 Day-0 推理支持 — vllm_project · 2026-11-06
- Google AI Studio 部分账号出现可领取的 60 美元 API 额度 — ygsbhardwaj · 2026-11-06