Meta新论文:小模型实验靠谱吗?超参调优才是Scaling Law缺失钥匙
giffmana · x · 2026-09-22
giffmana 解读 Meta 研究者(含 Kyunghyun Cho、Karen Ullrich 等)的论文《Small-Scale Experiments: Are We There Yet?》(arXiv:2608.11859)。
- Scaling Law 曾承诺低成本的小规模实验,但六年后研究者发现它们在小模型(4M 参数起)上不可靠,于是转向结论「大模型不可避免」。
- 本文指出真正的混淆因素是超参数:小模型对超参极度敏感,而敏感性随规模增大而消退;Scaling Law 只在充分调优的前沿上出现,而达到该前沿需要远超常规的搜索量。
- 消融显示调好超参比任何其他因素都重要;随规模增大,超参损失曲面的维度降低,超参更容易找。
- 但小模型外推仍受统计限制,需要整体性方法。作者据此提出一套以模型为中心的研究方法,并用「pre-norm vs post-norm 该放哪」这个曾耗时多年才定论的问题做演示,从小规模实验中恢复出大规模结论:模型越大 pre-normalization 越好。
- giffmana 对论文中 pre-norm/post-norm 的两种拟合方式(是否绑定不可约误差项)表示有些奇怪。
所属事件:FAIR与NYU论文把缩放律推到4M参数(7 条相关)→
「研究」频道最新
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12
- Georgia Tech 教授 Molei Tao 招收扩散语言模型方向博士生与博后 — gautamcgoel · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- RoboCap-10k 发布：1 万小时带度量动作的开放式机器人数据集 — databoydg · 2026-11-12
- Google Research 用可穿戴设备做心血管-肾-代谢风险画像与个性化健康指导 — Google Research · 2026-11-12