Meta 论文揭示小模型需广泛调优以预测缩放定律
rohanpaul_ai · x · 2026-08-17
Meta 新论文《Small-Scale Experiments: Are They There Yet?》发现，小模型并非缩放定律的糟糕预测者，只是往往调优不足。缩放定律在 400 万参数左右出现，模型可在 1 块 GPU 上 1 小时内训练完成。小模型对超参数异常敏感：若配置过少，定律不可见或外推效果差；只有在 256 种配置下才变得准确。大模型之所以缩放定律看起来更干净，是因为它们更容易调优。对于模型研究，廉价实验可能需要更多的调优广度而非模型尺寸。
所属事件:Meta 论文：缩放定律在 400 万参数小模型中依然成立(2 条相关)→
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16