Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2%
dlwh · x · 2026-10-27
Marin 团队发布首个开放 scaling 套件 Delphi，包含 scaling recipe、在 TPU Research Cloud 上训练的模型套件，以及用小模型预测大模型的 scaling law。
关键结果：
- 用 3e18–3e20 FLOPs 的 7 个 IsoFLOP 最优点拟合，对 1e21/1e22/1e23 FLOPs 的 held-out 运行预测误差均在 0.5% 内
- 预注册预测的最大运行（1e23 FLOPs、25B 参数、600B tokens）最终 loss 误差仅 0.2%，外推范围超出拟合所用最大运行 300 倍
- 第一版 scaling law 在小规模看似干净但外推 30 倍就发散；修正方法是给学习率等超参数加 token-horizon 校正，并换用将 weight decay 移出超参搜索的新优化器
- 外推曲线延伸后对 Marin 32B、Kimi K2.5、DeepSeek V4、GPT-4、Opus、GPT-5 的 loss 位置做了估计（闭源模型算力数据来自 Epoch AI 数据库）
作者 dlwh 解释拟合形式为 loss = E + A·compute^(-alpha)，难点在于小模型仍远高于渐近线 E 时就要估计这个下限。checkpoints、训练配比和 recipe 均已开源。
所属事件:Marin 开源 scaling 套件 Delphi，作者修正预测误差降至 0.4%(8 条相关)→
「研究」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 一个样本就能刷过公平性基准，EMNLP 论文质疑 BBQ 可信度 — radamihalcea · 2026-10-27
- 一段手机视频生成2000条机器人演示,Real2Sem2Real媲美150条遥操数据 — Scobleizer · 2026-10-27
- 从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重 — jasondeanlee · 2026-10-27
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢 — dfrsrchtwts · 2026-10-27