Agent 轨迹的 GAE 处理
ziv_ravid · x · 2026-07-11
作者在讨论 agent 轨迹 的优势传播方式：模型动作与环境观察会交错出现，如果直接用标准 GAE，优势会穿过很多模型并没有“生成”的 observation tokens。为此，他们把一个动作的最后 token 直接连到下一个动作的第一个 token，避免把学习信号传到不该传的地方。
这是一条典型的 agent 训练方法讨论，重点在于怎样更合理地处理交互轨迹。
所属事件:GLM团队提出SAO算法，突破智能体异步强化学习瓶颈(15 条相关)→
「研究」频道最新
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 果蝇大脑 LLM 权重上架 Hugging Face,兼容 transformers 可直接跑 — ngxson · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11