Agent 轨迹的 GAE 处理
ziv_ravid · x · 2026-07-11
作者在讨论 agent 轨迹 的优势传播方式：模型动作与环境观察会交错出现，如果直接用标准 GAE，优势会穿过很多模型并没有“生成”的 observation tokens。为此，他们把一个动作的最后 token 直接连到下一个动作的第一个 token，避免把学习信号传到不该传的地方。
这是一条典型的 agent 训练方法讨论，重点在于怎样更合理地处理交互轨迹。
所属事件:GLM团队提出SAO算法，突破智能体异步强化学习瓶颈(15 条相关)→
「研究」频道最新
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- Mundo:几张照片重建可探索的世界模型,8 卡 GPU 也只有 1.5 FPS — mark_k · 2026-10-27
- INRIA 研究员将于 ENS 报告「作为实验科学的数学」:LLM 参与数学研究 — marc_lelarge · 2026-10-27
- 美国能源部 Genesis Mission 二期落地:AI 进军粒子加速器与稀有同位素分离 — prescott · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27