Meta 论文：缩放定律在 400 万参数小模型中依然成立

Meta 新论文指出，小模型并非缩放定律的糟糕预测者，而是往往调优不足：只要超参数调优得当，缩放定律在仅 400 万参数的极小模型中依然显现。小模型对超参数高度敏感，随着规模增大损失面维度降低、超参数更易寻找，表明小规模实验仍具预测价值。

2026-08-16 ~ 2026-08-17 · 2 条相关

• Meta 论文：缩放定律在极小模型中依然成立 — ChengleiSi · 2026-08-16
• Meta 论文揭示小模型需广泛调优以预测缩放定律 — rohanpaul_ai · 2026-08-17