传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟
teortaxesTex · x · 2026-11-21
teortaxesTex 引用字节工程师 RIPO(黎曼等距策略优化)与 score centering 两个新 RL 算法的讨论,并指出 score centering(传闻为 OpenAI 的核心 RL 算法)现已被广泛采用,如 Tinker 中的 StableReinforce 就用了它。附图论文实验显示:在 INT8 量化采样器与 stale=64 的严重陈旧设置下,score centering 与 TIS/MIS 组合表现最佳,PPO/DAPO 在量化噪声下崩溃;作者建议训练器偏离采样器较远时将 score centering 与重要性采样校正组合使用。作者认为这类方法可容忍数十步的中位陈旧度,甚至可能挽救较慢的芯片。
「Infra」频道最新
- 开源模型效率更低但部署更分散,反而可能推高芯片销量 — aronchick · 2026-11-21
- 62 条引用织成《The Organic Web》:一篇解剖数据重量与网络腐坏的随笔 — round · 2026-11-21
- ARK 测算 Starship 边际成本 2027 年降至 358 美元/公斤 — mitchdeg · 2026-11-21
- 实测:长会话 55%-85% Claude 用量耗在重读历史,作者开源 /flight-deck 分段方案 — PawelHuryn · 2026-11-21
- 中科大团队夺戈登·贝尔奖,全国产十万卡曙光8000仅半年即出成果 — 量子位 · 2026-11-21
- SpaceX 贷款方阻拦 400 亿美元 AI 芯片上天:违约收不回抵押品 — basedjensen · 2026-11-21