长序列 RL 训练细节整理
nrehiew_ · x · 2026-07-09
帖子总结了该方法的主要变化：从 group-wise sampling 改为 single-rollout，因此需要重新引入 value model 来降低方差。
随后列出多个训练细节，包括 value network 每个 batch 做两步梯度更新、冻结 attention 只训练 MoE 层、GAE 只在 action token 上计算，以及长度自适应 GAE 等。
所属事件:GLM团队提出SAO算法，突破智能体异步强化学习瓶颈(15 条相关)→
「研究」频道最新
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 弗莱堡生成智能实验室通过 ELLIS 项目招收多名全奖博士，10月31日截止 — yuyinzhou_cs · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27