X 网友推导:策略梯度的 score centering 等价于直通估计器 STE
YouJiacheng · x · 2026-09-20
YouJiacheng 给出一个简洁推导,说明 RL 策略梯度中的 score centering 技巧本质上是一个直通估计器(straight-through estimator)。对 logits 的梯度 s = ea - p,取 q 下的期望得 s̄ = q - p,中心化后 s - s̄ = ea - q,等价于 zp + sg(zq - zp) 这一 STE 形式。作者指出该论证不限于线性策略,并注明解释最初由 @ACSync 发现、另呼应了 @nanjiangcs 的论证。
所属事件:策略梯度 score centering 被证等价于直通估计器(3 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12