传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟

teortaxesTex · x · 2026-11-21

teortaxesTex 引用字节工程师 RIPO(黎曼等距策略优化)与 score centering 两个新 RL 算法的讨论,并指出 score centering(传闻为 OpenAI 的核心 RL 算法)现已被广泛采用,如 Tinker 中的 StableReinforce 就用了它。附图论文实验显示:在 INT8 量化采样器与 stale=64 的严重陈旧设置下,score centering 与 TIS/MIS 组合表现最佳,PPO/DAPO 在量化噪声下崩溃;作者建议训练器偏离采样器较远时将 score centering 与重要性采样校正组合使用。作者认为这类方法可容忍数十步的中位陈旧度,甚至可能挽救较慢的芯片。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →