Stanford Marin 535B-A23B 预训练过 80%，4K→16K 上下文切换现损失骤降
stanfordnlp · x · 2026-10-26
Percy Liang 与 David Hall 主导的完全开放科学项目 Marin，其 535B 总参数 / 23B 激活的 MoE 模型预训练进度突破 80%，训练全程在公开的 W&B 上透明进行。
- 观测到 macro loss 在 4K→16K 上下文切换时出现明显骤降，David Hall 坦言这算「作弊」了 scaling-ladder 预测（切换是计划内的），后续会在 4K 上下文下重新评估各 checkpoint
- 第 314,999 步 held-out eval loss 达 1.528；图表说明更长上下文会降低测得的 eval loss，切换后曲线与 4K 预测不可直接比较
- 团队认为结果验证了 scaling-ladder 预测在半万亿参数规模上依然成立，cooldown mix 阶段在即
所属事件:斯坦福开源项目 Marin 535B 模型预训练进度超 80%(2 条相关)→
「模型」频道最新
- 多方实测称 DeepSeek V4.1-Flash-1017 更新后反而变弱 — teortaxesTex · 2026-10-26
- ChatGPT 突然开始每句都喊用户名字，用户直呼发毛 — astralmatrix · 2026-10-26
- 被嘲 Opus 5.5 没产出，Theo 列出一个月狂写 8 个项目回击 — Vjeux · 2026-10-26
- 单卡 5090 求推荐：低拒答本地模型用于逆向与红队 — Live_Drive_6256 · 2026-10-26
- DeepSeek 1017 ckpt 登上 FrontierCS 2,成绩小幅提升 — scaling01 · 2026-10-26
- 开发者吐槽 Claude 隔两天再用就「失忆」乱出错 — ivan_bezdomny · 2026-10-26