Marin 开源 535B 参数预训练中间检查点,坦承基准污染未能清除
dlwh · x · 2026-11-18
Open Athena 团队在 Hugging Face 发布 Marin Mochi 535B-A23B,这是 Hero 预训练运行的中间检查点集合,未做指令微调与安全后训练,定位为研究工件。
- 模型总参数约 5354.8 亿,每 token 激活约 227.6 亿非嵌入参数(MoE 架构 GrugMoe);BF16 权重,每个检查点 193 个 safetensors 分片
- 保留 57 个检查点(step 6000–393491),均已上传并独立校验;早期阶段 4K 上下文,后期 16K/65K,末段最高 262K 上下文
- 推理需 Marin 的 vLLM fork(split-expert loader),schema-3 检查点还需 global-query log scaling 支持,数值一致性尚未验证
- 团队坦承发现常见预训练基准存在实质性数据污染,去污染流程未能发现,影响了可公平报告的模型对比;调查过程已写入博客
「模型」频道最新
- ARC-AGI-3 评测方详解 provider adapter:各家模型用自家推荐配置跑分 — mhmazur · 2026-11-18
- Marin 开放 535B MoE 全部 57 个中间检查点,含 18.2T tokens 训练曲线 — dlwh · 2026-11-18
- 微软 Decision-1.1 上线 Vercel AI Gateway,输出结构化决策更准更快 — marlene_zw · 2026-11-18
- 实测对比:GPT-6.2 Sol 体素生成多数倒退,但速度快很多 — Angaisb_ · 2026-11-18
- Karpathy:谷歌模型未蒸馏竞品,全栈独一档将试 Antigravity — beffjezos · 2026-11-18
- SpaceX CFO 力捧 Grok Bot:可能是最佳 Agent AI 方案 — XFreeze · 2026-11-18