伯克利实验：异步 RL 稳定性或只需 score centering，堆矫正未必有用
berkeley_ai · x · 2026-11-06
Shu Liu 分享一项 side project 发现：异步 RL 训练中，人们常在 score centering（SC）之上叠加截断重要性采样（TIS）或 KL 惩罚来稳定训练。实验发现 SC 单独使用就能消除 drift，且常常达到与 on-policy 相当的性能；而当 SC 不够时，继续叠加矫正项也不一定有帮助。Ion Stoica 转发提醒：在异步 RL 上堆复杂矫正前先看看这些结论。
所属事件:伯克利实验：异步 RL 稳定仅靠分数中心化即可(3 条相关)→
「研究」频道最新
- Fraunhofer ViT-HarDis：按样本难度解耦注意力头，零成本提升人脸识别 — FraunhoferIGD · 2026-11-06
- KCL 提出可检验跨模型通信的 PLatour 框架，揭示部分收益为假象 — KingsCollegeLondon · 2026-11-06
- 庆应义塾团队让全波形 LiDAR Transformer 跑进实时：token 剪枝加物理增强 — Kotaro Oishi · 2026-11-06
- 研究让 ChatGPT/Grok/Gemini 接受 4 周心理治疗，模型开始「坦白创伤」 — esrtweet · 2026-11-06
- 仅凭论文标题,Google AI 助手就能生成核心发现摘要 — EhudReiter · 2026-11-06
- UC Berkeley 推出 Ctrl-F：力作为人形机器人交互新接口 — ChongZzZhang · 2026-11-06