Marin 535B 最后阶段换 cooldown 配比,科学数据权重上调
dlwh · x · 2026-10-24
Marin 535B 进入训练最后阶段后切换到 cooldown 数据配比:增加自然科学研究内容,代码与 agent 对话记录仍占较高比重。自然科研数据采样权重从 6.9% 升至 11.3%,通用软件与网页代码从 4.5% 降到 3.1%,最高质量桶(分类器评分 Q4)的采样权重从 22.9% 提升至 28.0%。整个数据配方由 40 个主题簇 × 5 个质量桶构成。
所属事件:Marin 开源 535B 大模型预训练超 80%，loss 优于预测(4 条相关)→
「研究」频道最新
- 机器人 vs 测量技术:生物自动化的钱可能花错了层面 — rbhar90 · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24
- Humansand 高产一周：开源内核同时提升精度与速度 — gharik · 2026-10-24
- 138 页 QFT 与四维流形讲义发布：超对称扭量理论的数学视角 — fkasummer · 2026-10-24
- .alignment.org 评测金丝雀字符串被指更像博尔赫斯式护身符 — tszzl · 2026-10-24
- Victor Taelin:AI 让证明成本骤降,形式化验证正迎来爆发 — pwlot · 2026-10-24