Meta/NYU 研究证实 4M 参数小模型仍服从 scaling law
Karen Ullrich 团队（NYU/FAIR，Kyunghyun Cho、Sanae Lotfi 共同一作）于 10-29 发布论文《Small-Scale Experiments: Are We There Yet?》更新版，正面回应社区对小规模实验能否可靠估算 scaling law 的质疑，并新增算力分配建议。
已确认
- 在 4M–268M 参数的多规模大量训练 run 中，scaling law 在小至 4M 参数的模型上依然成立，但只在「fully tuned frontier」（黑色虚线标出的充分调优前沿）上成立，未调优的 run 不在其上。
- 小模型对超参调优的敏感度远高于大模型：要在小尺度上可靠估计 scaling law，必须搜索多得多的超参配置。作者认为这是社区小规模实验结果互相矛盾的根源之一。
- 算力分配建议：在最便宜（最小）规模做约 32 次调参 run，次小规模仅 1 次；约 68.7% 的算力预算花在最大规模，最小规模仅占 8.6%。论文还演示了拟合端点在同等误差下的对比。
为什么重要
- 该结果说明小规模实验并非不可用，而是需要正确的方法论（充分调参 + 合理算力分配），为算力有限的研究者提供了可信的小尺度 scaling 实验范式。
- 揭示的「小模型调参敏感度更高」现象解释了以往小规模 scaling 研究结论不一致的原因，有助于减少社区争议。
2026-10-29 ~ 2026-10-29 · 5 条相关
一手来源
- 新研究：Scaling law 下探到 4M 参数仍成立，小模型需重调超参 — karen_ullrich ·
- 小模型实验也能估准 scaling laws,但前提是调参到位 — karen_ullrich ·
- 4M 参数小模型也服从 scaling law,但只在调优前沿上成立 — karen_ullrich ·
- 【源头】新研究：Scaling law 下探到 4M 参数仍成立，小模型需重调超参 — karen_ullrich · 2026-10-29
- 【源头】4M 参数小模型也服从 scaling law,但只在调优前沿上成立 — karen_ullrich · 2026-10-29
- 小模型调参敏感度远超大模型,估算 scaling law 须搜更多配置 — karen_ullrich · 2026-10-29
- 算力怎么花最值:68.7% 预算给最大模型,32 次调参给最小模型 — karen_ullrich · 2026-10-29
另有 1 条近重复转述:karen_ullrich