算力口径加小规模拟合下限,scaling 预测误差降约 79%
dlwh · x · 2026-10-27
dlwh 修正此前对 Hero 预训练的 scaling 外推预测:改用 Paloma 的算力口径(不含输出头 FLOPs)并用小规模实验拟合 Uncheatable 损失下限后,拟合出的渐近线 E 约为 1.20(原预测固定 1.4,作者称该值是拍脑袋)。在同样的 46 项 Hero 4K 评测上,RMSE 从 0.031 降到 0.0065 nats/token,降幅约 79%。作者指出关键在于口径一致性:输出头 FLOPs 在最小规模一档约占算力的 65%,而在 535b 规模仅约 3%,跨尺度外推时这个选择影响巨大;只改 FLOPs 口径反而更差。
所属事件:Marin 开源 scaling 套件 Delphi，作者修正预测误差降至 0.4%(8 条相关)→
「研究」频道最新
- arXiv 避坑提示续：分类器推荐不同主分类时应接受，否则几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27