Marin 开源 scaling 套件 Delphi，作者修正预测误差降至 0.4%

Marin 团队（作者 dlwh）发布首个开放 scaling 套件 Delphi，包含 scaling recipe、在 TPU Research Cloud 上训练的模型套件，以及用小模型外推大模型损失的 scaling law 方法，号称外推 300 倍（从 3e17 FLOPs 起）预测误差仅约 0.2%。随后 dlwh 公开修正了此前对 Hero 预训练的 scaling 外推预测：初版采用 Uncheatable 数据集口径，把渐近线 E 固定为 1.4 且计入输出头 FLOPs，而 Paloma 口径剔除输出头——这一项在最小计算规模约占总算力的 65%，在 535B 规模影响较小。改用 Paloma 口径并用小规模实验拟合损失下限后，E 约为 1.20，整体预测误差下降约 79%。

已确认

Delphi 套件开源，含 recipe、模型与 scaling law 方法
拟合公式简化形式为 loss = E + A·compute^(-alpha)，难点在于小模型阶段估计渐近线 E；dlwh 还透露实际拟合工作部分交给了 Codex 完成
公布两版预测对比：对同一 Hero 535B-A23B 运行，初版 Uncheatable 预测 RMS 误差 1.9%，Paloma 口径预测误差 0.4%（RMSE 0.00856）
dlwh 承认修正属事后复盘，但强调方法与此前 Paloma 拟合一致，未使用 Hero 535B 的损失数据；代码与上下文开源在 GitHub（marin-community/marin-logbooks issue #8）

为什么重要

这是首批完全开放的 scaling law 外推验证：口径差异（是否计入输出头 FLOPs）可导致小规模下高达 65% 的算力口径偏差，直接影响外推结论
展示了小模型外推大模型损失的可行性（0.2%0.4% 误差），且全流程可复现
dlwh 自嘲收尾称问题不在预测本身，而是发帖前没做好 QA 检查，体现了开放研究中预测—纠错—复盘的完整过程

2026-10-27 ~ 2026-10-27 · 8 条相关

一手来源

Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27 01:59 北京时间
Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27 01:59 北京时间
算力口径加小规模拟合下限,scaling 预测误差降约 79% — dlwh · 2026-10-27 01:59 北京时间

【源头】Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27
【源头】Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
作者让 Codex 拟合损失渐近线:loss = E + A·compute^(-alpha) — dlwh · 2026-10-27
【源头】算力口径加小规模拟合下限,scaling 预测误差降约 79% — dlwh · 2026-10-27
作者复盘 Hero scaling 预测修正全过程:不用 535b 损失也能拟合 — dlwh · 2026-10-27
Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
作者自嘲:不是不会做预测,是我发帖前没做好 QA — dlwh · 2026-10-27