小模型实验也能估准 scaling laws,但前提是调参到位
karen_ullrich · x · 2026-10-29
Meta 研究员 Karen Ullrich 团队发布论文《Small-Scale Experiments: Are We There Yet?》的更新版,回应社区对小规模实验估算 scaling law 可靠性的质疑。核心发现
- scaling law 在小至 4M 参数的模型上依然成立,但前提是超参被仔细调优——scaling law 描述的是「全调优前沿」,而这条前沿在小规模下出奇地难找到。
- 小模型对超参调优比大模型敏感得多,因此要可靠估计 scaling law,需要在小尺度上搜索多得多的配置。
- 好在小模型训练便宜:可以把算力在模型规模间重新分配——小模型多花算力调参、大模型少花。团队给出了具体的算力分配建议,并更新了博客与论文。
这项工作回应了「微小细节导致估算大幅偏差」的社区失望情绪,给出可操作的算力分配方案。
所属事件:Meta/NYU 研究证实 4M 参数小模型仍服从 scaling law(5 条相关)→
「Infra」频道最新
- Unsloth 发布 Le Chonk 量化版：1bit 压缩 80% 保留 91% 精度，Mac Studio 可跑万亿参数 — danielhanchen · 2026-10-29
- Argentum AI 拟筹 50 亿美元信贷额度购芯片，追赶 Nebius — Beth_Kindig · 2026-10-29
- 微软时隔多年重返债市拟募资至少 250 亿美元，AI 债潮推高全行业借贷成本 — rohanpaul_ai · 2026-10-29
- 开源实时数字人方案：单张免费 T4 从 30 FPS 优化到 90 FPS — SavingsWeather1659 · 2026-10-29
- WSJ 曝苹果闪存采购硬手段：降价时拒收货甩锅供应商 — firstadopter · 2026-10-29
- 超大规模云厂抽走资本，AI 算力租赁商商业模式遭质疑 — RihardJarc · 2026-10-29