高质量数据面临枯竭，斯坦福提出CD缩放定律

随着算力激增与高质量训练数据逐渐枯竭，传统的 Chinchilla 缩放定律正面临严峻挑战。为应对数据受限的预训练难题，斯坦福团队提出计算-数据（CD）缩放定律。该研究量化了重复数据与算力之间的等效转换关系，为未来在高质量 token 资源受限的情况下，如何继续有效扩展大模型训练提供了全新的理论框架。

2026-08-11 ~ 2026-08-12 · 2 条相关