off-policy 下状态函数不再是合法 baseline:Score Centering 修正全推导

青稞AI · wechat · 2026-09-26

一篇面向 RLHF/智能体训练实践者的推导长文,梳理论文《Score Centering Stabilizes Off-policy Reinforcement Learning》并扩展到 TIS/MIS 组合的完整形式化。

核心问题

on-policy 时,任意只依赖状态的函数都是合法 baseline,不影响期望梯度
但一旦采样来自行为策略 πsampler、score 来自目标策略 πtrainer,该期望不再为零,状态函数不再自动是合法 baseline——换 baseline 会真正改变梯度方向,而非只降方差

主要结论

直接用 off-policy score 更新会隐式引入一个由 baseline 缩放的 reverse-KL 梯度项;改变 reward/value 零点甚至能改变更新方向(mean-score drift)
Score Centering(把 score 减去其在 sampler 分布下的条件期望)恢复 baseline invariance,期望上等价于使用一个精确的 prefix-level value baseline,但无需训练 critic
普通 advantage update 与 score-centering update 一般并不相同
exact importance sampling 天然恢复零均值,centering 修正恰好为零;但 TIS/MIS 因 clipping/masking 仍留 residual drift,可与 Score Centering 叠加:TIS 的残差来自被 upper-clip 的 token,MIS 的残差来自被 mask token 的 score 质量

工程细节

论文只保存 sampler 的 top-k log 概率,用 trainer 分布重建尾部,tail 上的 importance ratio 为常数,correction 只需 top-token 图
所有作为系数出现的量(包括修正项里的 πtrainer 概率)都必须 stop-gradient,否则引入额外梯度
诊断手段:用常数 reward 或打乱 reward,检查平均更新是否接近零
局限:token-level IS 只修正当前 action 分布,不修正后续 continuation 分布;若状态访问分布也不匹配,仍有 state-distribution bias

「编程与Agent」频道最新