数据受限稠密检索的 Scaling Law：BERT 系检索器符合乘性幂律

_reachsumit · x · 2026-11-05

论文研究数据受限（标注稀缺、多 epoch 复用）场景下稠密检索的最优可达评估损失（MAEL）如何随模型规模与唯一微调样本数扩展。
发现：学习率选择影响优化轨迹但几乎不影响最终 MAEL，重缩放优化步轴后不同学习率的学习曲线坍缩一致；达到 MAEL 的 checkpoint 学到高度相似的表示（CKA 分析）。
在 MS MARCO 子集上微调 35 个 BERT 系稠密检索器，MAEL 可用非嵌入参数量与唯一样本数的乘性幂律准确刻画，优于常用加性公式。
还推导出达到 MAEL 的训练步数 scaling law，并发现最优 weight decay 近似遵循不变的 EMA 时间尺度，在域内与域外基准上均取得更低损失与更强检索性能。

「研究」频道最新