数据过滤被单列为 scaling 改进来源，质量 scaling 上限引争论
tobyordoxford · x · 2026-09-09
David Manheim 在与 Dwarkesh 相关的讨论中提出：有边际证据表明模型进步更多来自"增加算力/数据"之外的原因，这意味着纯堆算力、堆数据的轨迹比宣称的更平缓、更受限。
由此引出"质量-scaling"（quality-scaling）的上限问题——数据质量带来的改进是否有边界？tobyordoxford 回应称这一拆分视角有价值，他此前的心智模型中没有为数据过滤带来的改进单独设类。
所属事件:学者激辩预训练 scaling 放缓，改进或更多来自算力之外(4 条相关)→
「研究」频道最新
- Counter-Swarm Doctrine:Hugging Face 事件后如何防范智能体协同入侵 — moltaicorp · 2026-09-09
- 无需成对数据训练 3D 编辑:用生成先验蒸馏替代监督学习 — Hao Wen · 2026-09-09
- 「AI by Arms」:Prof. Tom Yeh 用站起来伸展手臂讲透自编码器 — ProfTomYeh · 2026-09-09
- STARIT 预印本 v2:把空间转录组当图像,用视觉 AI 解析亚细胞异质性 — mo_lotfollahi · 2026-09-09
- 数据不够时模型越大越亏:学习曲线才是选模型的关键判据 — bravo_abad · 2026-09-09
- 社区发布 27B 无审查微调模型,用 Marchenko-Pastur 蒸馏训练噪声 — EvilEnginer · 2026-09-09