新 scaling law 发现：部分规模下重复训练胜过改写
burny_tech · x · 2026-07-29
这篇新论文提出一套 Compute-Data（CD）scaling laws，试图把传统的 compute-optimal 和 data-optimal 预训练规律统一起来。
- 论文指出，经典 scaling law 默认“新鲜训练数据无限供应”，但现实里高质量数据越来越稀缺，预训练正进入数据受限时代。
- 作者引入一个 token-effectiveness function η，用来衡量“派生 token”（例如多轮重复、改写后的数据）相对于新鲜 token 的有效性。
- 他们在 Dolma-3 上做了实验，模型规模覆盖 14M 到 600M 参数，比较了两种数据扩展方式：
- 多 epoch 重复训练
- paraphrasing（改写）
- 主要结论是：
- 派生数据的有效性不是常数，会同时受模型大小、tokens-per-parameter 比例和派生数据量影响；
- 随着语料扩张，token 有效性会饱和；
- 用更多算力替代更多数据的收益会递减；
- 在大多数实际场景里，传统 compute-optimal 分配已经不再最优。
- 论文把训练分成 compute-bound、data-bound、model-bound 三种状态，并指出在某些模型规模与语料范围里，重复训练可能比改写更划算。
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16