Google 研究者指出 scaling law 争议早已被 NeurIPS 2022 论文点破

anshulkundaje · x · 2026-11-06

giffmana 在讨论中指出，近期关于 scaling law 的争议其实早有定论，核心论点来自 Google 研究者 2022 年的 NeurIPS 论文《Revisiting Neural Scaling Laws in Language and Vision》(arXiv:2209.06640)。该论文主张用外推损失（extrapolation loss）而非最佳拟合（插值）参数来评估 scaling law：多种 scaling 指数都能几乎同样好地拟合学习曲线，但拟合最好的参数未必是外推最准的参数，因此从学习曲线估计 scaling 参数需要更严格的方法。论文还发布了含 90 个评测任务的基准数据集。作者还提到 Lilian Weng 的 scaling law 博客附带的交互组件和 Andreas 的博客都印证了这一模糊性。