Agent RL 奖励设计实测：0.1 系数工具调用降 11-17% 且不掉精度

yb2698 · x · 2026-11-06

作者分享 agent RL 的奖励设计：reward = 任务验证器得分 + 0.1 × (1 − calls/15)，仅对正确的 rollout 生效。消融发现：系数取 0.3 时会损害准确率；取 0.1 时准确率保持不变，而工具调用次数下降 11–17%。

训练全程在 Space 直播，实时展示每个 safeagents 事件、训练奖励、各 checkpoint 的 held-out pass@1 和每题工具调用数；凭证在离开 trainer 前即被脱敏。另在 50 步消融（pi, LFM2.5-24B）中，开启该 guard 对 held-out 准确率影响为 +0.0 ± 4.1 分——零成本的安全措施。