网友逆向工程 Tinker 新方法：StableReinforce 本质是 REINFORCE 加分数中心化
Thinking Machines(Tinker)发布新的 RL 训练方法 StableReinforce,用于解决 off-policy RL 中因异步延迟和数值失配导致的训练突然崩溃问题。随后有网友发帖进行逆向工程,指出该目标函数本质上就是 REINFORCE 加上分数中心化,相关论文作者也参与讨论,这一发现使 Score Centering 技术在社区中走红。
2026-10-25 ~ 2026-10-26 · 2 条相关
- 第 1 集:网友逆向工程 Tinker 新方法：StableReinforce 本质是 REINFORCE 加分数中心化(2026-10-25,2 条)
- 第 2 集:TRL 异步 GRPO 默认启用 Score Centering(2026-10-27,5 条)
- 第 3 集:LLM强化学习的Off-Policy漂移问题成为算法研究焦点(2026-10-31,3 条)
- 网友逆向工程 Tinker 新目标函数：StableReinforce 就是 REINFORCE 加分数中心化 — andersonbcdefg · 2026-10-25
- Score Centering 走红:作者发帖逆向工程 Tinker 的 StableReinforce 目标函数 — RichmanRonald · 2026-10-26