策略梯度 score centering 被证等价于直通估计器

X 网友 YouJiacheng 给出简洁推导，证明 RL 策略梯度中的 score centering 技巧本质上是一个直通估计器（STE）。此前 @mryabinin 从第一性原理分析了 LLM 强化学习中训练策略与采样策略不一致导致的不稳定问题，指出数值对齐、重要性采样等常规修复只是绕过而非根治，并提出 Score Centering 方案；而 score centering 还可免去传统优化 Ep[R] 所需的高方差重要性采样，被视为更本质的解决路径。

2026-09-20 ~ 2026-09-22 · 3 条相关

• X 网友推导:策略梯度的 score centering 等价于直通估计器 STE — YouJiacheng · 2026-09-20
• 研究揭示 RL 训练不稳定根源：Score Centering 实为 STE 技巧 — brandondamos · 2026-09-21
• 换个视角看策略梯度:score centering 无需重要性采样 — brandondamos · 2026-09-22