Meta新论文揭示Chinchilla缩放定律盲点，预测误差大减

rohanpaul_ai · x · 2026-08-15

Meta FAIR 新研究发现 Chinchilla 缩放定律在训练网格内看似完美，但在前沿尺度外推时存在巨大偏差。Chinchilla 假设模型大小与训练数据各自独立发挥作用，但实验显示二者存在耦合效应。

论文提出新方法 Skaling，仅增加一个额外项来捕捉这种联系，将预测误差降低了 1.5–3 倍，且只需约 1/10 的算力即可达到全网格 Chinchilla 级别的预测精度。在 Farseer 数据集的前沿尺度（2×10^25 FLOPs）上，Chinchilla 预测每参数需 380 tokens，而 Skaling 和直接估算结果仅为 20-40。