协方差恒等式稳住 RL 训练，Score Centering 直击 LLM 强化学习不稳定根因
burny_tech · x · 2026-09-19
研究者提出用大二概率论里的协方差恒等式 E[AB] = E[A]E[B] + Cov(A,B) 来稳定 LLM 强化学习训练。核心问题是：当训练与采样策略不一致（数值精度、采样框架不同）时，RL 极不稳定，传统做法（匹配数值、重要性采样）只是绕过症状。团队从第一性原理找到不稳定的根因，提出 Score Centering 直接抵消该项，实现简单、与现有方法兼容且性能有竞争力。
所属事件:Together AI 提出 Score Centering，一个修正项稳住 off-policy RL(5 条相关)→
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04