Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线
dlwh · x · 2026-10-27
dlwh 在其 scaling law 线程中补充了拟合公式的简化版：loss = E + A·compute^(-alpha)，其中 E 是 loss 的渐近下限，A 是尺度，alpha 是斜率。他指出方法的趣味与难点在于：小模型仍远高于下限时，就要同时估计这个下限本身。方法上是通过用同一 recipe 训练一梯子小模型、测 held-out loss、在不同训练进度拟合曲线来预测大模型全程轨迹。
所属事件:Marin 开源 scaling 套件 Delphi，作者修正预测误差降至 0.4%(8 条相关)→
「研究」频道最新
- arXiv 避坑提示续：分类器推荐不同主分类时应接受，否则几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27