预训练与RL联合缩放规律

teortaxesTex · x · 2026-07-20

这条帖子讨论了一项联合预训练与 RL 的 scaling law：随着总算力提升，最优 RL 占比会上升，但预训练 token 的分配仍大体符合 Chinchilla 式缩放。作者强调，这个结论来自一个合成的国际象棋设定，在那里 reward、预训练损失和 RL 计算量被联立建模。对 pass@1 来说，预训练一方面降低下游损失，另一方面提升 RL 算力转化为 reward 的效率。帖子还提醒，若把拟合出来的局部规律直接外推到超大算力，会得到不可能的回报率和过高的 RL 占比，因此应保留“占比上升”的趋势，但在实际规划里加上保守上限。