离策略训练的硬边界处理
ziv_ravid · x · 2026-07-11
这段在讲一个 off-policy 训练处理方案：他们直接丢掉旧 policy，用“当前 policy / rollout engine 的 logprobs”作为重要性比值；凡是超出双侧硬边界的样本，直接在梯度里被 mask 掉，而不是做普通 clipping。
核心意思是：在 agent 训练里，他们用更硬的筛选方式来控制离策略误差，而不是依赖温和裁剪。
所属事件:GLM团队提出SAO算法，突破智能体异步强化学习瓶颈(15 条相关)→
「研究」频道最新
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 研究成果被采用的四个条件:重要问题、强基线、可扩展、真实可用 — srchvrs · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- GitHub 快速位打包算法致谢漏了两位作者,学者晒亲身经历 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27