Salesforce 研究:只训练改变结果的那次工具调用,BFCL v4 提升 14 分
dair_ai · x · 2026-09-28
Salesforce AI Research 的多轮工具调用 RL 论文提出 Critical-State RL:当奖励取决于后续轮次时,奖励方差大多来自下游噪声,把奖励摊到整条轨迹上训练效率很低。
- 核心思路:用嵌套采样(nested sampling)把「当前动作引起的奖励变化」与下游噪声分离,只选出真正改变结果的那一次调用,用 contextual-bandit 更新训练它。
- 结果:在 BFCL v4 missing-function 任务上,训练被选中的那一轮可带来约 14 分提升;训练其他候选轮次则准确率持平甚至下降。
dairai 建议收藏,适合做多轮 agent RL 的人参考。
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16