斯坦福 Marin 开源 535B-A23B 预训练全部 57 个中间检查点
MaziyarPanahi · x · 2026-11-18
斯坦福 Marin 项目宣布公开「Mochi」535B-A23B 模型预训练过程中的全部 57 个中间检查点,其中含 10 个长上下文扩展阶段检查点。
- 训练数据量:18.2T tokens
- 权重总量约 61 TB,已上架 Hugging Face
- 附博客文章详解
来自公开研究团队的这类全过程检查点开放,对预训练曲线分析、scaling 研究、模型回溯与消融实验都是稀缺素材,社区评价「对公开研究领域来说是黄金资源」。
所属事件:斯坦福 Marin 开源 535B MoE 模型全部 57 个中间检查点(4 条相关)→
「模型」频道最新
- Every 创始人回击 Sam Lessin:发布前我们一直在重测新模型 — kieranklaassen · 2026-11-18
- HF 热榜:Thinking Machines、MiniMax、Qwen 三款新模型同时冲榜 — victormustar · 2026-11-18
- DeepSeek 限流后四步走:桌面端 Harness 加按量付费 API 继续用 — sujingshen · 2026-11-18
- blink-8M 领跑七个静态模型:MTEB 55.35、去污染 BEIR 46.70 — tomaarsen · 2026-11-18
- blink-64M 跨语言检索演示:英文查询精准命中荷兰语/西语文档 — tomaarsen · 2026-11-18
- MinishLab 发布 Blink 静态嵌入:8M/64M 参数纯 CPU 高速检索 — tomaarsen · 2026-11-18