Meta 训练 8B 小模型选工具,胜过 402B 的 Llama-4-Maverick

dair_ai · x · 2026-10-23

Meta 与 CMU 的论文《Training Small Language Models for Transferable Tool Selection》研究超万级工具规模下的工具选择问题:此时工具描述放不进上下文,检索器只能按相关性排序、不知道指令真正需要哪些工具,许多系统只好把这一步交给 Claude/ChatGPT 等专有模型。

他们用 Plan-Retrieve-Select 工作流训练 Qwen3 模型:模型先把指令拆成子步骤,检索器为每步返回候选,模型再逐步确定工具。训练采用约 2 万条精选 ToolBench 指令做 SFT,再用 RL 强化,奖励按覆盖金标工具的数量与排名打分。

在 ToolBench G3 上,Qwen3-8B 从 SFT 后的 36.2% 提升到 RL 后的 41.5%,超过被 prompt 的 Llama-4-Maverick(402B),且训好的模型可直接迁移到不同检索器和新领域工具集。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →