Revisiting Neural Scaling Laws in Language and Vision
Ibrahim Alabdulmohsin, Behnam Neyshabur, Xiaohua Zhai
NeurIPS)
cs.LG, cs.AI
2022-09-13
在 ViT-B/16 预训练、ImageNet 10-shot 的学习曲线上,外推选出的 scaling 指数为 -0.40,拟合选出的是 -0.24,新估计器 M4 在超过七成图像任务里外推误差最低。
scaling law 用一条曲线描述模型变大、数据变多之后误差怎么降。常见形式是幂律,误差大致随规模 x 的 c 次方下降。c 为负,绝对值越大,下降越陡。
标准流程把指数拟合到已有学习曲线上,再拿去预测更大规模。ViT-B/16 在 JFT-300M 上预训练,下游看 ImageNet 10-shot 错误率,拟合只用约 5 亿个见过样本以内的点。这段里 M2 的指数从约 -0.24 扫到 -0.40,几条曲线几乎重合。按拟合误差挑,得到 c = -0.24。换到 10 亿至 20 亿样本,用对数 RMSE 做外推,更准的是 c = -0.40。
拟合优度最低的指数,还没经过外推检验。
四个函数族描述误差 εx 如何随规模 x 变化。x 多半是数据量,或训练时见过的样本数。
小数据端要靠近随机猜测,避免开头的平台把指数拽偏。大数据端的超额误差要回到幂律。α > 0 时,偏离纯幂律的修正大约是 O(α x^{2c}),越靠近渐近区越小。
参数用平方对数损失拟合,相对误差在各尺度上权重接近。0.99 预测成 1.0,和 0.099 预测成 0.1,对数 RMSE 都约为 1%。α、β、c 有最小二乘闭式,其余参数用学习率 10^{-7} 的梯度下降。
样本均匀来自 100 维单位球面,标签以概率 0.2 翻转,贝叶斯误差就是 0.2。逻辑回归先出现平台,再快速下降,最后才进入幂律。截断 τ = 0 时,M2 给出 c = -0.14,M4 给出 -0.57。τ = 1000、点基本落在幂律区之后,M2 为 -0.48,M4 为 -0.49。
主实验把 τ 定成曲线最大 x 的一半。前半段拟合,后半段只做外推,误差是两端取对数后的 RMSE。
图像有 72 个任务。BiT、ViT、MLP-Mixer 各两个尺寸,在 JFT-300M(约 3 亿张图、1.8 万类)上预训练。表 1 的参数量:BiT/50/1 为 6100 万,BiT/101/3 为 4.94 亿,ViT/S/16 为 3200 万,ViT/B/16 为 1.10 亿,MiX/B/16 为 7300 万,MiX/L/16 为 2.26 亿。下游是 ImageNet、Birds-200、CIFAR-100、Caltech-101 的 5/10/25-shot。上游损失代表不了下游,所以看少样本准确率。
上游子集约 1200 万张时,训太久,下游准确率会从峰值往下掉。峰值之前见过的样本表现得像新数据,这个数量叫 bootstrapped examples,图像实验用它当 x。M4 在这个领域超过 70% 的任务上外推误差最低。同一家族里,更大的模型 |c| 更大,M4 给出的绝对值也高于另外三族。
| 设置 | 对照 | 结果 |
| ViT-B/16,拟合到约 5 亿样本 | M2 拟合优度 | c = -0.24 |
| 同上,外推到 10 亿至 20 亿 | M2 对数 RMSE | c = -0.40 |
| 图像 72 个任务 | M1、M2、M3 | M4 在超过 70% 的任务上最低 |
| 五个语言模型 | M2 与 M4 | c 接近 -1/3,模型越大绝对值越小 |
| dateunderstanding 1-shot | M1/M2 为 3.2×10^{-2} | M3 为 4.7×10^{-3},M4 为 1.5×10^{-2} |
| linguisticmappings 2-shot | 其余约 1.7×10^{-2} | M4 为 9.2×10^{-3} |
翻译用了五套结构:6 层编码器配 6 层解码器、28 层对 6 层、6 层对 28 层、纯解码器加语言模型损失、Transformer 编码器加 LSTM 解码器。优化器是 Adafactor,每批 50 万 token,dropout 0.1,指标是留出集 log-perplexity。拟合停在 2.56 亿句对,外推只核 5.12 亿句对这一个点。M4 的外推 RMSE 低于另外三种。
语言建模是 LaMDA 一类的 decoder-only Transformer,五个尺寸约从 1.68×10^7 到 1.07×10^9,验证损失缩放到 [0, 1]。M4 和 M2 最好,M4 略优,指数靠近 -1/3。
BIG-Bench 取可学习性最高的五个任务,linguisticmappings、qawikidata、unitconversion、multdatawrangling、dateunderstanding,各做 1-shot 和 2-shot。底模是 2.62 亿参数的 decoder-only。指标用 benchmark 自己的 multiple choice grade 或 exact string match。M3 和 M4 最好,整体打平。M1 和 M2 更差,彼此接近。qawikidata 上四个方法都在 4×10^{-3} 附近。论文提到一个原因是曲线很吵。
这些指数会被拿去定数据预算、提前停实验、做架构搜索。在这条 ViT 曲线上,-0.24 比 -0.40 更平。按拟合指数规划下一段数据,会把规模收益估得偏保守。
M4 不动训练,只改指数怎么从曲线里读出来。它允许前段弯曲,渐近段仍是幂律,不必先把曲线头部截掉。图像上超过七成的任务由它胜出。语言建模上优势变小,是因为那些曲线更接近纯幂律,估计器退回 M2。
放出的 benchmark 让后来的估计器按同一套外推误差比较。
外推视野大约只有两倍。主实验从最大 x 的一半推到终点。两倍里更准,不能直接当成再推一个数量级仍然更准。
翻译每个模型只核了一个规模点,曲线上的点很少。BIG-Bench 五个任务、两种 shot,曲线又吵,撑不起「哪一族在语言任务上普遍更好」。
图像结果依赖不公开的 JFT-300M。bootstrapped examples 绑在下游准确率的峰值上。学习率一变,峰值会动,横轴跟着变。
图像迁移里,同家族更大的模型 |c| 更大。语言建模里正好反过来,|c| 随模型变大而减小,数值仍在 1/3 附近。两套结果不能互换着做预算。
样本规划、提前停止、架构搜索都没有在这篇里闭环。讨论写了以后用 M4 加速 NAS,实验本身没做。外推 RMSE 更低,还不等于搜到的模型更好,或预算更省。换损失或换切分之后,名次会不会变,正文没有比较。