Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints
Tom A. Lamb, Adam Golinski, Eleonora Gualdoni, Sinead Williamson, Michael Kirchhof
cs.LG, cs.AI
2026-10-20
Apple 对比 11 种奖励教 agent 按预算分配算力,预算内成功率与合规大幅超过任务奖励训练,零样本迁移新环境。
前沿 agent 产品已经让用户设定努力程度:生成多少 token、打多少次工具调用、走多少步。多轮 agent 的难处在于一份预算要摊到几十次交互上,每轮花多少、何时收手是个动态分配问题。现在的做法是把分配交给推理时的外部机器,planner、harness、router 管着预算,任务策略本身不学这件事。
只把预算写进 prompt 不够。未训练的 Qwen3.5 每轮都看得到「总额 + 剩余」,AppWorld 步数预算 36 时,9B 的预算内成功率只有 37%,4B 只有 19%;9B 在整个 token 预算区间上自然合规率不到一半。论文回答两个问题:一个策略能否学会跨动态变化的预算分配资源;哪种奖励教得最好。
核心是把预算写进环境,用奖励塑形教策略学会花它。
一个关键设计:除 Trunc 外,训练 rollout 允许超出预算继续跑。超支轨迹即使得 0 分,组内相对基线也会给它负 advantage,超支部分的动作仍在提供学习信号;Trunc 把这段数据删掉,汇总指标全面落后于 Gate。
八个实验汇总(AppWorld 的步数/token/API 调用预算加 BabyAI 回合预算),用三把尺子:单点胜率、near-best 率(距最优 ≤2pp)、平均 regret(各预算点距最优方法的平均差距,单位 pp)。
| 方法 | 指标 | 结果 |
| Sigmoid-Gate | 单点胜率 | 20.1%,最高 |
| Gate | near-best 率 | 39.8%,平均 regret 3.33pp |
| Dual | 平均 regret | 2.92pp,最小 |
| Gate-Neg | 自然合规 | 一般最强,代价是 regret 6.00pp |
| Linear-Mag | 平均 regret | 14.01pp,垫底 |
行为也变了。步数预算下 GRPO-Std 每轮固定约 1.02–1.05 次 API 调用;Gate、Sigmoid-Gate、Dual 在预算 10 时每轮 1.87–1.93 次,预算 32 时降到 1.53–1.61 次,预算越紧越会把调用打包,把回合省下来。开销随任务难度走,难任务花得明显更多。
泛化有三层证据:训练网格外的插值与外推预算上优势保留;AppWorld test-challenge(未见 app、更难任务)上,9B 的效用曲线越过最大训练预算 29 后仍在上行;不重训直接评 ASTRA 个人助理 benchmark,预算响应同样保留。
这篇把预算控制从推理时的外部 harness 挪进策略本身,省掉一层分配控制器,一个策略覆盖连续变化的预算值。选型结论可以直接抄:要单点预算内成功率选 Sigmoid-Gate,要不开外部截断也守规矩选 Gate-Neg,要跨预算稳选 Dual;最简单的 Gate(只有预算内成功才给分)已经很有竞争力,实现近乎零成本。另一个实用结论:别在预算处截断训练 rollout,超支轨迹留在数据里当负样本,比 Trunc 全面更好。
组件都是旧的,状态增强加奖励塑形。价值在统一框架下的系统对比和一张可复用的奖励选型表。
渐进,但扎实。
作者承认没有单一目标全面占优,也明说不是每个奖励在每个设置下都赢 GRPO-Std,选错目标可能白训。每个「环境 × 资源类型」单独训一个策略,一个策略管多种资源、或跨环境混训,都没验证,零样本评测不等于训练方案成立。模型只到 4B/9B,全部实验在研究用模拟环境,文末免责声明写明不代表任何 Apple 产品系统。逐预算相对基线的提升幅度大多只在图里,正文没有「训后比 GRPO-Std 高几个点」的单点数字,跟进得自己读曲线。