斯坦福 Marin 开源 535B-A23B 模型全部 57 个中间检查点,含 10 个长上下文版
samsja19 · x · 2026-11-18
斯坦福 Marin 项目(dlwh 发布,被 samsja19 转发)宣布开源「Mochi」535B-A23B 预训练的全部 57 个中间检查点,其中包括 10 个来自长上下文扩展阶段,总计训练 18.2T tokens,权重约 61 TB。
这类全量检查点开源对预训练研究极为珍贵:研究者可以逐点分析训练动态、学习率与数据配比的影响、能力涌现的时间线,而无需自己烧卡训练。博客与下载链接已在项目页面公布。
所属事件:斯坦福 Marin 开源 535B MoE 模型全部 57 个中间检查点(3 条相关)→
「Infra」频道最新
- 市场给牙膏可乐成长股估值,却给 AI 股价值股估值 — sudoraohacker · 2026-11-18
- 英伟达经新加坡子公司确认1040亿美元收入,占全球销售近半 — GaryMarcus · 2026-11-18
- SpaceX 首次回收载荷后二级,CFO 称太空成本将再降 10 倍 — XFreeze · 2026-11-18
- Claude 自动编写近 100% 内核,AMD GPU 移植从 12 个月缩到 3 天 — Present-Guitar-3967 · 2026-11-18
- 英伟达Q3超预期大涨4.5%,指引Q4营收1300亿美元 — Polymarket · 2026-11-18
- 《CUDA for LLMs》纸质书上市,408 页教写高速 Transformer 内核 — eigenron · 2026-11-18