Score Centering 走红:作者发帖逆向工程 Tinker 的 StableReinforce 目标函数
RichmanRonald · x · 2026-10-26
Thinking Machines(Tinker)新推出的 StableReinforce 目标函数被指实为 Reinforce + Score Centering。论文作者 Martin Marek 发帖展示了逆向工程过程。
配图论文《Score Centering Stabilizes Off-policy Reinforcement Learning》(Together AI, Marek & Ryabinin)要点:
- LLM 强化学习对训练与推理引擎的微小差异极其敏感(training-inference mismatch, TIM);完全消除 TIM 会严重牺牲 rollout 效率
- 论文证明 TIM 下的不稳定主要源于 drift——训练与推理引擎间随每步累积的持续性偏差,并提出一个加性的 score centering 修正项来抵消 drift
- 在 0.6B 到 30B 参数模型上,仅用 score centering 就能在量化条件下持平或超越基于重要性采样的方法,失配越严重优势越大,且可与重要性采样叠加
- 实验在 Qwen3-30B-A3B-Base 上用 INTELLECT-2 数学数据,在 FP8/INT4/INT8 等递进量化下对比 PG、TIS、MIS、DAPO、GSPO 等方法,score centering 在重量化(如 INT8 W/A + INT4 KV)下保持稳定训练,其他方法多数崩掉
Yacine 等人也转帖称这是一个高质量逆向工程线程。
所属事件:网友逆向工程 Tinker 新方法：StableReinforce 本质是 REINFORCE 加分数中心化(2 条相关)→
「研究」频道最新
- 用真实人脑细胞做 AI？生物计算进展引热议 — EmotionalGuess9229 · 2026-10-31
- LLM 评审员暗藏系统性偏差,自动化评估或已悄悄污染模型排名 — burkov · 2026-10-31
- 新论文量化「说不清的概念」：1270 个概念中 65 个永远无法用语言教会 LLM — sanmikoyejo · 2026-10-31
- 无监督测量LLM通信：用发射-接收重构评估信息传递 — sanmikoyejo · 2026-10-31
- 仅凭游戏画面流式输入,端侧小模型让无人机在 Acro 模式自主飞行 — yacineMTB · 2026-10-31
- Rust 版 MLIP 推理引擎 llmlip-rs：比 PyTorch MACE 快 17.7 倍 — CatAstro_Piyush · 2026-10-31