Marin 535B 预训练完成逾 80%，loss 走势优于 scaling 阶梯预测
dlwh · x · 2026-10-24
开源研究项目 Marin 的 535B 模型预训练已进行逾 80%。作者贴出 loss 与其 scaling-ladder 预测的对比曲线：当前 loss 好于预测，但作者坦言这并不理想——「我们可能把渐近线搞错了，之后会改进」。loss 的骤降来自计划中的 4K→16K 上下文切换，相当于「作弊」了预测曲线，团队将在 4K 上下文下重新评估。
所属事件:Marin 开源 535B 大模型预训练超 80%，loss 优于预测(4 条相关)→
「Infra」频道最新
- 视频生成模型 int8 量化实测：12GB 显存即可流畅运行 — cocktailpeanut · 2026-10-24
- Modal 联手 Sakana 将 Namazu API 优化到内核级,NVFP4 量化+KV 路由 — blelbach · 2026-10-24
- 半导体圈热议:高数值孔径 EUV 对台积电 18A/16A 节点是否划算 — pstAsiatech · 2026-10-24
- Intel 显卡 B60/B65/B70 一日暴涨 30%,B70 冲至 1840 美元 — SamSausages · 2026-10-24
- RTX 30 系 GPU Unlock 实测:3090 Ti 跑 ComfyUI 出图吞吐最高提升 59% — under-_-null · 2026-10-24
- RTX 3070 本地跑 Qwen3.8 量化版：1000 tps 预填充完整配置公开 — SetNo7692 · 2026-10-24