Marin 535B 预训练完成超 80%,loss 低于 scaling 预测线
dlwh · x · 2026-10-24
Marin 项目的 535B 模型(Hero 535B-A23B)预训练进度已超 80%。实际观测的 held-out loss 曲线整体低于 scaling ladder 的预测,长上下文切换(4K→16K)带来一次明显下降,团队承认这让预测对比「有点作弊」,之后会在 4K 上下文下重新评估 checkpoint 以公平验证预测。当前 loss 已降至 1.528(step 314,999)。
所属事件:Marin 535B 开源模型预训练超八成，loss 优于预测(3 条相关)→
「研究」频道最新
- EMNLP 2026 论文 HarmAmp：LLM 多轮对话如何放大危害，及主动干预监控器 TrajSafe — alan_ritter · 2026-10-24
- 追踪 2.7 万中国学生 30 个月：用 AI 写作业提分 18%，闭卷考试成绩反跌 20% — lmoroney · 2026-10-24
- 6K 参数检测器:HoliSafe 错误率最高降 92%,OOD 攻击归零 — shangbinfeng · 2026-10-24
- 无害图+无害问句也能组合出有害请求,现有防线全部失守 — shangbinfeng · 2026-10-24
- Fireworks 揭秘如何在 2.8T 参数 Kimi K3 上跑通强化学习训练 — sophiamyang · 2026-10-24
- 圣塔菲研究所 Eric Smith：别急着认定 AGI 是「活的生命」 — danfaggella · 2026-10-24