Exploiting Feature-invariant Scaling Laws for Efficient A/B Experimentation in Recommendation Systems
Zhiliang Chen, Sammy Nammari, Jiahao Su, Xiaoqiang Luo
cs.IR, cs.LG
2026-11-10
三类推荐模型改特征后仍服从同一幂律,五档共缩放实验约花全量55%算力,用以判断全量验证损失能否再降1%以上。
推荐模型改架构、换优化器或加数据特征,默认要在全量数据上重训全尺寸模型,再跟已上线的基线比。候选可以上百个,项项全量重训,算力和排期都不够。
先跑小模型、小数据,不涨点就丢,方向却经常反了。LLM 推荐里,电影类型写进 prompt 之后,小数据上的 HR@10 低于基线,全量上同一改动又更好。单看一个小点,有用特征会被提前杀掉。固定改到 0.5 倍也不保险,不同改动在各档的正负并不一致。
曲线仍是光滑的。这个例子里基线和实验模型都能拟合幂律 Loss = a·N^b·D^c,R² 都超过 0.99,系数各写各的。
特征换了,缩放曲线的函数族不变,名字是 feature-invariant scaling。改动有益还是有害都一样,变的是系数。规模 s = N×D,N 为参数量,D 为样本数,全量 S 对应该上线的最大模型。缩放大小时,稀疏 embedding 宽度、中间层宽度和层数按接近比例一起动,长宽比保持接近,为的是训练更稳。
基线的全量验证损失已知,实验模型的未知。每个候选只在小于 S 的若干档上训练,把验证损失看成幂律加高斯噪声。取对数后成为线性回归:log Loss = log θ₁ + θ₂ log N + θ₃ log D。噪声方差设成不随规模变化的常数。系数用最小二乘闭式求解,分母为 n−3。外推到全量,对数损失的后验是自由度 n−3 的 Student-t,区间不用采样。
放行不看有没有一丁点提升。额外的计算、存储和工程复杂度会吃掉边际收益。规则是:以目前这些小规模观测,全量损失低于 0.99 倍基线的后验概率大于 90%,才去做更高保真验证。阈值可以按业务改。
成本和共缩放绑在一起。模型和数据同时缩到一半,ND 约剩四分之一。五档 0.1 到 0.5 按规模因子的平方相加,0.01+0.04+0.09+0.16+0.25 = 0.55,大约一次全量训练的 55%。只缩数据时这笔账偏乐观。实验卡放不下全尺寸模型时,缩小 N 是还能做 A/B 的前提。
幂律是经验函数。非线性形式没有闭式后验,要用 MCMC,实验没有走那条路。
三族模型、四十多项架构、优化器和数据改动都检查了缩放是否还在。
Wukong 在 Criteo 上预测点击率。训练集约 42 亿条(23 天),验证用最后一天约 1.78 亿条。embedding 维度从 s=0.1 的 8 增到 s=1.0 的 64。HSTU 在 MovieLens-20M 上预测用户下一部电影,每人最后一条做验证。s=1.0 为 HSTU-large(隐层 256、16 层、8 头),s=0.1 缩到 26 维、2 层、1 头,同时缩数据。LLM 固定参数、只缩 token,全参微调 Llama-3.1-Instruct 与 Qwen(约 0.5B 到 8B)。prompt 里只有 100 个候选,HR@10 会高于 HSTU 的全库排序,不能横比。
曲线拟合的是验证损失。Wukong 基线 R² 为 0.9949,dropout 0.9953,SGD 0.9923,attention 0.9876。Llama-3.1-8B 基线 0.9977,加类型 0.9970,去掉评分 0.9981,dropout 0.9939,多一层 0.9743。HSTU 基线 0.9989,表中其余可见拟合不低于 0.9972。HR@10 也呈同类曲线。
用损失再降 1%、后验超过 90% 去看 HSTU。事后确认有益的改动,概率随观测点升到 100%;有害改动掉向 0。全量损失的样本外误差随点数下降。没有总误差百分比,也没有区间覆盖率。
几项改动在全量配置上测到的 HR 超过原 HSTU 论文的数字,基线就引自那篇,表内不是外推值。
| 改动 | HR@10 | HR@50 | HR@200 |
| HSTU-large 基线 | 0.3567 | 0.6139 | 0.8073 |
| Time Gap Bias | 0.3603(+1.01%) | 0.6186(+0.77%) | 0.8112(+0.48%) |
| Dropout 0.1 | 0.3590(+0.64%) | 0.6183(+0.72%) | 0.8107(+0.42%) |
| Pop Debias | 0.3585(+0.50%) | 0.6182(+0.70%) | 0.8102(+0.36%) |
| Wider Head 48 | 0.3584(+0.48%) | 0.6176(+0.60%) | 0.8097(+0.30%) |
| RMS-Norm | 0.3584(+0.48%) | 0.6175(+0.59%) | 0.8094(+0.26%) |
| Attn Residue | 0.3581(+0.39%) | 0.6164(+0.41%) | 0.8086(+0.16%) |
HR 的步子很小。HR@10 上只有 Time Gap Bias 相对提升超过 1%,另外五项在 0.39% 到 0.64% 之间。
交叉点很常见。小规模上基线领先,拉大后可能反超。类型信息让 Llama 变好、Qwen 变差,曲线仍服从幂律,外推方向是对的。
全量 A/B 太贵,单次小实验又会看反方向。这里的 scaling law 是筛选器:基线全量损失沿用现成结果,候选跑五档。模型和数据一起缩时,五档大约是一次全量的 55%,输出是全量损失会不会低于基线的 99%,并且带区间。显存放不下全尺寸模型时,缩小 N 让实验变得可做。
过了 90% 门槛的项还要再做高保真验证。MovieLens 上的 HR 提升是零点几个到一个相对百分点。先前 HSTU 工作里,损失降 0.1% 往往对应十亿级用户上 topline 超过 0.5% 的提升,那是引用,不是这篇测到的线上收益。
幂律会断。Qwen-0.5B 加上电影类型,上下文大约变长 30%,曲线不再像幂律,性能也明显差于基线。小模型吃不下变长上下文时,外推和区间一起失效。文中把这种情况算作少见,但没说四十多项里出现了几次,也没给残差多大就放弃外推的标准。
R² 高只代表已观测档位贴合。全量误差只在图里下降,没有 MAE,没有区间覆盖率。概率升到 100% 或掉向 0,对照的是事后已知的益害,正文没有报告放行规则在四十多项上错了几项。
表 3 没有误差棒。HR 涨幅多数不到损失门槛的 1%,过线但排序几乎不动的情况没有分开统计。数据只有 Criteo 和 MovieLens-20M。LLM 只缩数据,55% 的账不能套用。决策只看损失概率,延迟没有测。噪声不随规模变化,也没有单独检验。