新研究：Scaling law 下探到 4M 参数仍成立，小模型需重调超参
karen_ullrich · x · 2026-10-29
Karen Ullrich 等人（NYU/FAIR，Kyunghyun Cho、Sanae Lotfi 共同一作）发布更新版论文《Small-Scale Experiments: Are We There Yet?》，并新增算力分配建议。
- 核心发现：scaling law 一路成立到 4M 参数，但小模型只有在每个模型都调到其超参能达到的最优损失附近时才遵循规律。
- 关键反差：小模型对超参远比大模型敏感，小规模下每个模型尺寸可能需要数百组配置；「noisy quadratic」（最优超参附近损失的二次描述）能很好刻画这种调参噪声，并可用于估算每个规模需要多少次运行。
- 实践建议：小规模彻底调参、大规模少跑几次、用简单诊断检验每个假设、在 scaling law 最可靠的区间比较模型。由于小实验便宜，所需严谨性是可负担的。
- 论文与博客见 reliable-ai.review。
所属事件:Meta/NYU 研究证实 4M 参数小模型仍服从 scaling law(5 条相关)→
「研究」频道最新
- 临床试验中位周期从 8.4 年拉长到 9.3 年,AI 单独救不了药物研发 — zakkohane · 2026-10-29
- 哈佛 Nature 研究:发育大脑 13-46% 神经元携带基因组异常,出生前后被清除 — zakkohane · 2026-10-29
- 449 万笔转账图上做最小割冻结骡子账户,顺手抓出 FalkorDB max-flow bug — JeremyCMorgan · 2026-10-29
- Gemma 3 免微调提取化学实验步骤，分子筛合成得分 0.89 — bravo_abad · 2026-10-29
- AI 攻坚著名数学难题的残酷竞赛内幕 — miniapeur · 2026-10-29
- Goodfire 研究员谈智能体决策：关键 token、相变与上下文学习 — PeterBowdenLive · 2026-10-29