Exact Scaling Laws for a Random-Features Bigram Model
Julian Enoch, Elvis Dohmatob
cs.LG
2026-10-14
固定随机嵌入把 bigram 参数从 d 平方降到 Nd，归一化后悔对宽度、词表和 Zipf 指数有闭式，WikiText-2 与 OpenWebText2 贴合该曲线，且 α≈0.94 时次线性宽度使后悔不归零。
Kaplan 等人 2020 年把语言模型损失写成参数量、数据量、算力的幂律，训练预算按这个分配。相近的下降可以来自样本不够、表示装不下或优化没走完，一次训练分不开这三件事。
Kunstner 与 Bach 2025 年看的是无约束 bigram：每个上下文单独一张下一词分布，参数量是词表 d 的平方。旋钮是梯度下降步数。α>1 时归一化后悔约按步数的 -(1-1/α) 次方下降，指数和 Hutter 2021 年的样本量缩放一样，资源却是优化步数。两篇都没有独立于 d 的宽度，没有算「转移表压进更窄表示」的误差。
真实嵌入比词表窄得多。这篇只量容量不够这一项，看 Zipf 长尾让压缩这些预测信息要多少宽度。
符号频率服从 Zipf，第 i 名正比于 i 的 -α 次方。每个上下文的下一词分布平方和都等于同一个常数 A，A 越接近 1，分布越尖。损失用平方 Frobenius 范数，拿当前 token 的 one-hot 线性预测下一个。
无约束 W 是 d×d，参数 d²。这里改成 W=ΩΘ：Ω 是 d×N 的固定随机矩阵，元素独立、均值 0、方差 1/d；Θ 是 N×d，唯一可训。参数从 d² 降到 Nd，N 是瓶颈宽度。Θ 解到瓶颈内最优，剩下的后悔没有优化残差。
归一化后悔是瓶颈损失比无约束经验最优多出来的部分，除以零参数到该最优的那段损失。大样本下分母约等于 A。
条件于经验计数，期望后悔等于偏差加方差。偏差 B=ANν。ν 由 N 等于各上下文的 p̂/(p̂+ν) 之和唯一确定：每个上下文分到的宽度正比于频率除以频率加 ν，高频先拟合完，尾巴决定 ν。方差 V 等于 (1-A) 乘 (S-N) 的正部再除以 n。S 为已出现的上下文种数，只在 N<S 时非零。N 不小于 S 且对应行上的 Ω 满秩时，两项都消失，经验转移能被逐行复现。N 固定且小于 d，多采样去不掉偏差。
定理 2 还要求 n 远大于 d 的 α 次方与 Zipf 部分和的乘积。α<1 时部分和只随 log d 增长，n 超线性于 d 即够，两个全量语料满足。此时 N 低一阶，方差约 d/n；N 与 d 同阶，方差约 (1-N/d)d/n。
α<1 且 N 低一阶，偏差趋于 A。α=1 且 N 写成 γ 乘 d 的 β 次方、β<1，地板约 A(1-β) 加 (1-A)d/n，γ 不在领先项中。β=1 时改为 A/(q log d) 加 (1-A)(1-γ)d/n。α>1 时偏差约 Cα 乘 N 的 -(α-1) 次方，指数与 Cabannes 等人 2024 的联想记忆容量律一致。语料的 α 为 0.9354 与 0.9443，靠近临界但仍然小于 1，不走这条幂律。
| 设定 | 指标 | 结果 |
| WikiText-2 全量 | 词表 / 样本 / α | 33277 / 2051910 / 0.9354 |
| OpenWebText2 全量 | 词表 / 样本 / α | 50257 / 2110824721 / 0.9443 |
| 瓶颈相对满秩 bigram | 可训参数 | Nd，对照 d² |
| α>1 | 偏差随宽度 | 正比于 N 的 -(α-1) 次方 |
| α=1 且 β<1 | 后悔领先项 | A(1-β)+(1-A)d/n |
| 实验 β=1 且 γ=1 | 归一化后悔 | 降到 0 |
| 实验 β<1 | 归一化后悔 | 留下地板，加大 γ 后变平 |
合成 Zipf、WikiText-2、OpenWebText2 都做了，表 1 把后者记为 OpenWebText。N 取 γ 乘 d 的 β 次方，β 为 0.5、0.65、0.8、1，γ 为 0.5、1、2，横轴画到约 2。两档是词表 10³、样本 10⁵，以及词表 10⁴、样本 10⁶，d/n 都是 0.01，训练到收敛。实线为随机投影均值，虚线为定理 2。
WikiText-2 上虚线贴实线。β=1 且 γ=1 时 N 等于词表，后悔到 0；β<1 留下地板。OpenWebText2 头尾偏离理想 Zipf，曲线仍贴预测。次线性区再加 γ，收益变小并变平，因为 d/n 那一项还在，宽度长得比词表慢就消不掉。
正文没有给出曲线之间的数值误差，吻合来自读图。与 Transformer 训练损失没有直接对照。
重尾词频加上显式宽度，最优拟合之后仍得到随 N、d、α 变化的后悔。临界情形 α=1 且 β<1 时，地板领先项是 A(1-β)，加大 γ 挪不动。两个语料的 α 约 0.94，紧贴这个区；严格次临界、宽度又低一阶时，领先项改成常数 A。图上后悔到 0，出现在 N 等于词表。
它不是训练预算表。平方损失的 bigram 加冻住嵌入，量的是秩 N 能存多少经验转移。嵌入远窄于词表时，模型靠更长上下文预测，不靠存满这张表。用法是做基准：换可学习嵌入、加长上下文，或只给有限优化步，看缩放是否仍由这条 Zipf 尾巴支配。
相对优化步数律，资源换成了宽度，并且表示内部已经最优。相对 Cabannes 等人，α>1 的指数一致，新内容是把 d 留在式中，并改评条件下一词概率的平方后悔。α 不超过 1 才盖住这两个语料。
还没做的有三件：可学习嵌入、高于 bigram 的依赖、有限优化步数。A 假定所有上下文一样尖。指标是经验平方后悔，不是人口交叉熵。
图只覆盖玩具，词表是 10³ 与 10⁴，不是全量 33277 和 50257，也没有语言模型。α≈0.94 属次临界，粗结论是低一阶宽度下偏差趋于 A。图却按 β 分开且虚线贴上，所以用的是一般不动点，而不是这个常数领先项。正文把这两个区说成更接近 Kaplan 2020 的函数形式，中间没有把公式变成损失对参数量的幂，也没有外部指数可对。
标题里的 exact，正文是大样本渐近：n 要远大于 d 的 α 次方乘部分和。实验子集的 n/d 等于 100，正文没有报告该条件失败时偏多少。