150 次实验表明异步 RL 中 Score Centering 单独即可胜任

一项异步强化学习稳定性侧项目通过约 150 次实验系统性验证了 Score Centering（SC）的适用条件。结果表明，只要训练器与采样器保持接近，SC 本身就足以稳定训练；在 SC 之上叠加截断重要性采样（TIS）或 KL 惩罚等额外修正未必带来改善。此外，小 batch 等因素会影响 SC 是否够用，为从业者选择修正技巧提供了实证参考。

2026-11-06 ~ 2026-11-06 · 2 条相关