不用反向传播训练 agent:进化策略在长视野任务上反超 RL,显存只要推理水平

Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements

Zhi Zheng, Rongsheng Chen, Yunpeng Ba, Zhenkun Wang, Yee Whye Teh, Wee Sun Lee

cs.LG

2026-08-18

NUS 与南科大提出 Agentic ESOpt,用全参数随机扰动加奖励加权更新替代反向传播,8.41GB 显存跑满参训练 Qwen 27B 网页 agent,15 轮视野数独上比最强 GRPO 基线高 12.5 个百分点。

这篇在解决什么

强化学习微调 LLM 在单轮任务上已经打过关,挪到长视野 agent 上就露怯。两处硬伤:

一是显存。Agentic RL(PPO、GRPO)要沿整条轨迹回传梯度,激活值、优化器状态、参考模型全得驻留显存。论文给了一组对照:Qwen3.5-4B 上 PPO 要 89.40GB,GRPO 要 58.88GB。27B 模型的全参 RL 在 4 张 H100 80GB 上直接不可行。

二是信用分配。轨迹 15 轮、只有终点一个 0/1 奖励,GRPO 的组相对优势算出来是轨迹级的,分不清哪一步好;PPO 加 critic 做轮级优势,但稀疏终点奖励下 critic 学不出可靠价值,早期优势估计基本是噪声。论文的理论分析很直白:策略梯度要累加 H 个动作的分数项,估计方差近似随 H 线性涨;ES 一次扰动对应一整条轨迹,方差不含这个 H 项。

方法

Agentic ESOpt 把 OpenAI 2017 年那套进化策略搬进 agent 微调。每步:采样 G 个全参数高斯扰动,各自跑完整轨迹拿环境奖励,奖励在种群内做 z-score 归一化,然后按归一化奖励加权平均扰动方向,更新参数。全程只前向,不反传。

显存账这么算:扰动不落地成完整参数张量,只存随机种子,扰动用原位加减恢复(文献里成熟的做法)。所以训练显存 = 推理显存,Qwen3.5-4B 是 8.41GB,比 GRPO 低 85.7%。

两个关键设计:

σ 余弦衰减。扰动尺度 σ 大,等价于优化一个高斯平滑后的目标,平滑项偏好平坦邻域(一种正则),但也带来偏差;σ 小,偏向利用、偏差小。训练场景 σ 从初值余弦衰减到一个非零终值,保留轻度正则;测试时场景直接衰到 0,追求当前任务的无偏结果。消融很说明问题:不衰减的 Vanilla ES 在 60 步后停滞,σ 衰减版从 39.58% 继续爬到 53.13%;终值强行设 0 又过拟合,掉回 28.13%。
提示-参数协同进化。ES 的反馈接口就是「轨迹 → 标量奖励」,天然可以和提示空间优化共用同一批 rollout:外层交替更新参数 θ 和提示 c(技能、启发式)。黑盒接口也让它直接接入现成的测试时搜索框架(EoH 这类)不改骨架。

结果

三条实验线:

15 轮视野数独(受控实验,视野长度由遮格数严格定义):

视野 H	最强 RL	Agentic ESOpt
5	90.63(PPO)	89.58
10	67.71(GRPO)	62.50
15	40.63(GRPO)	53.13

排序随视野翻转:PPO 赢在 5 轮,GRPO 赢在 10 轮,ES 赢在 15 轮。作者强调这个翻转比全胜更有信息量,与「视野越长 ES 相对优势越大」的方差分析吻合。算力对齐下墙钟时间还更短(15 轮场景 9.4 小时对 GRPO 19.0 小时)。

ReAct 式工具调用与 WebArena:

Qwen3.5-4B 上,Math(DAPO/AIME)加 DocVQA 三指标平均,比基座高 13.7 个点,比 Agentic GRPO 高 8.3 个点。
Qwen3.5-27B 全参跑 WebArena-Lite:成功率从 No Skill 的 29.47% 提到 36.16%(+6.69),叠加 Trace2Skill 从 33.94% 到 36.36%。4 张 H100 上做 27B 全参自适应,Agentic RL 做不到,这是 ES 的独有卖点。参考线:GPT-5.4 在同一 harness 下 34.14%,调优后的 27B 已越过它。

测试时自动启发式设计:把 ES 塞进 EoH 和纯采样流程,36 组配对比较赢 28 组。

为什么重要

这篇的说服力在于它没把 ES 卖成「便宜的替代品」,而是论证了在长视野、稀疏反馈的 agent 场景里 ES 是更匹配的优化机制。对工程侧的直接影响有两层:

显存账单改写了。8.41GB 训 4B、4 张 H100 训 27B 全参,这个门槛让中小团队能上手 agent 微调,不必等大厂的开源 RL 配方。而且提示空间优化(技能蒸馏、启发式搜索)和参数优化第一次能共用 rollout 协同跑,省一份数据。

适用边界也要认清:短视野任务上 RL 仍然占优(5 轮数独 PPO 领先),ES 的优势随视野增长才显现;环境评估本身很贵的场景,ES 多出来的独立评估次数会吃掉省下的反传成本,作者在局限里自己承认了这点。

局限与存疑

作者自述:

引入 σ 相关新超参,最优值依模型、奖励分布、环境而变;论文五个实验共用 σ0≈1e-3、α≈5e-4,说明鲁棒但没做自动调度。
环境评估昂贵的场景,rollout 成本主导总预算时,ES 的交换可能不划算。
持续学习存疑:ES 在与目标无关的方向上做随机游走,多任务序列下会不会互相冲刷,没有实验,只有一条「更新幅度集中」的间接证据(96.26% 的参数更新量在 σ 以内)。

读下来再补:

27B WebArena 实验没有 RL 对照(论文解释是硬件做不了,合理但读者拿不到同规模正面比较)。
数独实验的 H=15 时 ES 53.13% 的绝对水平仍不高,且环境是作者自建的受控沙盒,真实长视野 agent 任务(几十轮浏览器操作)上的视野效应没有直接验证。
G=32 的种群比 GRPO 的 8 rollout 大四倍,墙钟打平依赖环境 rollout 便宜;这条结论外推到 rollout 昂贵的真实环境要打折。

术语

进化策略(ES):无梯度优化,对参数加随机扰动评估奖励,按奖励加权扰动方向更新参数。
GRPO:组相对策略优化,同任务采多条轨迹,用组内相对奖励做优势,DeepSeek 系代表作使用。
PPO:近端策略优化,带 critic 价值函数估计轮级优势的经典 RL 算法。
信用分配:把最终奖励归因到具体动作或参数的哪一步贡献了成败。
Trace2Skill:从轨迹蒸馏可迁移 agent 技能的提示空间优化方法,这里作为与 ES 叠加的对照。
EoH:启发式进化框架,维护启发式种群做交叉变异,用 LLM 生成启发式代码。

原文与代码

社区讨论

新方法 Agentic ESOpt：用进化策略微调长周期 Agent yeewhye