斯坦福 Marin 开源模型 535B 预训练完成超 80%

stanfordnlp · x · 2026-10-26

Stanford NLP 转发 Marin 项目动态:开源大模型 Marin 的 535B 参数模型预训练进度已超过 80%。团队放出了训练 loss 与自家 scaling-ladder 预测曲线的对比图,loss 在 4K→16K 上下文切换时出现陡降——作者 dlwh 坦言这相当于「作弊」了外推预测(属计划内切换),之后会重新在 4K 上下文下评测。

所属事件:斯坦福开源项目 Marin 535B 模型预训练进度超 80%(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →