新研究：数据筛选不能脱离算力预算，重复高质量数据会迅速失效
cwolferesearch · x · 2026-10-20
cwolferesearch 在读 Marin 预训练数据相关讨论时，整理了一份高质量的数据策展论文清单，其中特别推荐了《Data Curation cannot be Compute Agnostic》一文。
该论文的核心论点是：数据筛选决策不应独立于训练算力来做。作者用 scaling laws 刻画了网页数据不同质量子集的“效用”，说明数据点在被第 n 次重复时效用如何衰减，以及不同数据池混合时的相互作用。结论是：算力充足时，纳入“没见过”的低质量数据可能优于反复重复有限的高质量数据。
同帖还列出其他相关研究：Organize the Web、FineWeb-Edu、RegMix、OLMix 等。
「研究」频道最新
- CMU 等 13 人联合论文：AI 编程 Agent 研究里「人」缺席了 — math_rachel · 2026-10-20
- Hazy Research 开源 NCM:概念级并行生成,比扩散文本模型快 31 倍 — simran_s_arora · 2026-10-20
- RuneBench：让 AI Agent 在游戏 RuneScape 里刷经验测能力 — charliermarsh · 2026-10-20
- FOMO-Dex：力觉手套遥操作拧螺丝,挑战 sim-to-real 必要性 — HaozhiQ · 2026-10-20
- YuanqiD 发文谈递归自我改进与「半良定义问题」的 AI 科学家 — rishabh16_ · 2026-10-20
- 从头设计半胱氨酸蛋白酶登 Nature,设计成功率19% — JosephJacks_ · 2026-10-20