数据过滤被单列为 scaling 改进来源，质量 scaling 上限引争论
tobyordoxford · x · 2026-09-09
David Manheim 在与 Dwarkesh 相关的讨论中提出：有边际证据表明模型进步更多来自"增加算力/数据"之外的原因，这意味着纯堆算力、堆数据的轨迹比宣称的更平缓、更受限。
由此引出"质量-scaling"（quality-scaling）的上限问题——数据质量带来的改进是否有边界？tobyordoxford 回应称这一拆分视角有价值，他此前的心智模型中没有为数据过滤带来的改进单独设类。
所属事件:学者激辩预训练 scaling 放缓，改进或更多来自算力之外(4 条相关)→
「研究」频道最新
- 算力口径加小规模拟合下限,scaling 预测误差降约 79% — dlwh · 2026-10-27
- 作者复盘 Hero scaling 预测修正全过程:不用 535b 损失也能拟合 — dlwh · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
- Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
- 作者让 Codex 拟合损失渐近线:loss = E + A·compute^(-alpha) — dlwh · 2026-10-27