Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65%
dlwh · x · 2026-10-27
研究者 dlwh 指出两个 scaling law 数据集的口径差异:Uncheatable 把固定 E 拟合为 1.4 且计入输出头 FLOPs,而 Paloma 剔除了输出头。这一项在最小计算规模上约占总算力的 65%,在 535B 规模上仅约 3%——从一个小规模外推到另一个规模时,这个口径选择影响巨大。他还质疑那个 1.4 的渐近值「是编出来的」,并顺带提到自己是用 Codex 完成的这项分析。
所属事件:Marin 开源 scaling 套件 Delphi，作者修正预测误差降至 0.4%(8 条相关)→
「研究」频道最新
- arXiv 避坑提示续：分类器推荐不同主分类时应接受，否则几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27