Marin 开源模型 Mochi 535B-A23B 完成预训练,共 18T tokens
DZhang50 · x · 2026-11-06
Marin 社区宣布其开源模型 Mochi 535B-A23B（5350 亿参数、MoE 激活 230 亿）完成主预训练阶段，共消耗 18 万亿 tokens。接下来计划：本周末做长上下文，未来一周左右进行 SFT，checkpoints 有望下周发布，发布前还需处理一些欧盟合规手续。这是一个规模可观的开源预训练项目，进展节奏较快。
所属事件:开源 Marin Mochi 535B-A23B 完成 18T token 主预训练,下周放出 checkpoint(3 条相关)→
「模型」频道最新
- Gemini 画「单结沙漏」翻车：要求一个环还是绕出三个 — Accreddita · 2026-11-06
- Ampersand 主打人机协作训练，意外成为顶级多智能体编码模型 — niloofar_mire · 2026-11-06
- Thawn 感慨：政府雇员不敢发声，Claude 的反直觉行为我们听不到 — theshawwn · 2026-11-06
- 21 模型实测:总体通过率仅 57.2%,Gemini 4 Argon 与 Muse Wonder 并列 82% 领跑 — davidyin44 · 2026-11-06
- 120B 开源模型经 Surge RL 训练，12 项基准全面逼近 GPT-5.6 — echen · 2026-11-06
- DeepSeek V4.1 Flash 在 Isoquant 跑出 600+ tok/s,10 秒写完俄罗斯方块 — ycombinator · 2026-11-06