斯坦福提出 CD 缩放定律：量化重复数据与算力的等效转换

StanfordAILab · x · 2026-08-12

随着高质量训练数据逐渐枯竭，传统的 Chinchilla 缩放定律面临挑战。斯坦福 AI 实验室团队提出了一项关于数据受限预训练的新研究。

研究引入了 Compute-Data (CD) scaling laws，旨在量化额外算力与新鲜高质量数据之间的兑换率。核心创新在于为重复数据赋予了一个“有效性”指标：即多少数量的新鲜 token 才能产生相同的验证损失。这种方法将重复数据与新鲜数据统一到了同一个评估尺度上，为未来在数据稀缺情况下的 LLM 预训练提供了理论指导。